有一離散無記憶信源，其輸出為X∈{0，1，2}，相應的概率為p₀=1/4，p₁=1/4，p₂=1/2，設計兩個獨立的實驗去觀察它，其結果分別為Y₁∈{0，1}，Y₂∈{0，1}，已知條件概率：

（1）求I（X；Y₁）和I（X；Y₂），并判斷哪一個實驗好些
（2）求I（X；Y₁Y₂），并計算做Y₁和Y₂兩個實驗比做Y₁和Y₂中的一個實驗可多得多少關于X的信息
（3）求I（X；Y₁|Y₂）和I（X；Y₂|Y₁），并解釋它們的含義

一階馬爾可夫信源的狀態(tài)圖如圖所示，信源X的符號集為（0，1，2）。

（1）求信源平穩(wěn)后的概率分布P（0），P（1），P（2） 
（2）求此信源的熵 
（3）近似認為此信源為無記憶時，符號的概率分布為平穩(wěn)分布。求近似信源的熵H（X）并與H_∞進行比較

有一個一階平穩(wěn)馬爾可夫鏈X₁，X₂，X₃，X_r，各X_r取值于集合A={a₁，a₂，a₃}，已知起始概率P（X_r）為p₁=1/2，p₂=p₃=1/4，轉移概率如下圖所示：

（1）求（X₁，X₂，X₃）的聯(lián)合熵和平均符號熵 
（2）求這個鏈的極限平均符號熵
（3）求H₀，H₁，H₂和它們說對應的冗余度

某一無記憶信源的符號集為{0，1}，已知P（0）=1/4，P（1）=3/4。
（1）求符號的平均熵；
（2）有100個符號構成的序列，求某一特定序列（例如有m個“0”和（100 - m）個“1”）的自信息量的表達式；
（3）計算（2）中序列的熵。

連續(xù)隨機變量X和Y的聯(lián)合概率密度為：，求H（X）， H（Y）， H（XYZ）和I（X；Y）。