某離散無記憶信源符號集為,所對應(yīng)的概率分別為:0.4,0.2,0.1,0.1,0.07,0.05,0.05,0.02,0.01,碼符號集為{0,1,2,3}. 1)求信源的熵H(X)及信源剩余度γ; 2)對其進(jìn)行四元Huffman編碼; 3)求平均碼長,編碼效率η及編碼器輸出的信息傳輸率(碼率)R.
設(shè)有一離散信道,其信道矩陣為,求 (1)最佳概率分布? (2)當(dāng)P(x1)=0.7,P(x2)=0.3時,求平均互信息I(X;Y)和信道疑義度H(X/Y); (3)輸入為等概分布時,試寫出一譯碼規(guī)則,使平均譯碼錯誤率pE最小,并求此pE.
黑白氣象傳真圖的消息只有黑色和白色兩種,求: (1)黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為0.7.給出這個只有兩個符號的信源X的數(shù)學(xué)模型,假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián),求熵X(H); (2)假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián),其依賴關(guān)系為:P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,P(黑/黑)=0.8,求其熵H2(X).