你可能感興趣的試題

設(shè)二元對(duì)稱信道的傳遞矩陣為

（1）若P（0）=3/4， P（1）=1/4，求H（X），H（X/Y），H（Y/X）和I（X；Y）； 
（2）求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。

有一離散無記憶信源，其輸出為X∈{0，1，2}，相應(yīng)的概率為p₀=1/4，p₁=1/4，p₂=1/2，設(shè)計(jì)兩個(gè)獨(dú)立的實(shí)驗(yàn)去觀察它，其結(jié)果分別為Y₁∈{0，1}，Y₂∈{0，1}，已知條件概率：

（1）求I（X；Y₁）和I（X；Y₂），并判斷哪一個(gè)實(shí)驗(yàn)好些
（2）求I（X；Y₁Y₂），并計(jì)算做Y₁和Y₂兩個(gè)實(shí)驗(yàn)比做Y₁和Y₂中的一個(gè)實(shí)驗(yàn)可多得多少關(guān)于X的信息
（3）求I（X；Y₁|Y₂）和I（X；Y₂|Y₁），并解釋它們的含義

一階馬爾可夫信源的狀態(tài)圖如圖所示，信源X的符號(hào)集為（0，1，2）。

（1）求信源平穩(wěn)后的概率分布P（0），P（1），P（2） 
（2）求此信源的熵 
（3）近似認(rèn)為此信源為無記憶時(shí)，符號(hào)的概率分布為平穩(wěn)分布。求近似信源的熵H（X）并與H_∞進(jìn)行比較

有一個(gè)一階平穩(wěn)馬爾可夫鏈X₁，X₂，X₃，X_r，各X_r取值于集合A={a₁，a₂，a₃}，已知起始概率P（X_r）為p₁=1/2，p₂=p₃=1/4，轉(zhuǎn)移概率如下圖所示：

（1）求（X₁，X₂，X₃）的聯(lián)合熵和平均符號(hào)熵 
（2）求這個(gè)鏈的極限平均符號(hào)熵
（3）求H₀，H₁，H₂和它們說對(duì)應(yīng)的冗余度

某一無記憶信源的符號(hào)集為{0，1}，已知P（0）=1/4，P（1）=3/4。
（1）求符號(hào)的平均熵；
（2）有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100 - m）個(gè)“1”）的自信息量的表達(dá)式；
（3）計(jì)算（2）中序列的熵。

連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H（X）， H（Y）， H（XYZ）和I（X；Y）。

給定語音信號(hào)樣值X的概率密度為，求H_c（X），并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。

黑白傳真機(jī)的消息元只有黑色和白色兩種，即X={黑，白}，一般氣象圖上，黑色的出現(xiàn)概率p（黑）＝0.3，白色出現(xiàn)的概率p（白）＝0.7。 
（1）假設(shè)黑白消息視為前后無關(guān)，求信源熵H（X），并畫出該信源的香農(nóng)線圖 
（2）實(shí)際上各個(gè)元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P（白|白）＝0.9143，P（黑|白）＝0.0857，P（白|黑）＝0.2，P（黑|黑）＝0.8，求這個(gè)一階馬爾可夫信源的信源熵

有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為：

并定義另一隨機(jī)變量Z = XY（一般乘積），試計(jì)算： 
（1）H（X），H（Y），H（Z）， H（XZ）， H（YZ）和H（XYZ）； 
（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H（X/YZ），H（Y/XZ）和H（Z/XY）； 
（3）I（X；Y），I（X；Z），I（Y；Z）， I（X；Y/Z）， I（Y；Z/X）和I（X；Z/Y）。