8. 通信路容量 - 京都大学...BSC やBSEC...

情報符号理論 2017 8. 通信路容量西田豊明

1 / 18

8. 通信路容量

通信路容量は，条件付確率モデルで規定された通信路に固有の量であり，入力の確率分

布が変化したときの入力と出力の間の相互情報量の最大値として定義される．今回は，通

信路容量の計算方法を通して，その性質を学ぶ．

8.1 通信路容量

図１のような記憶のない定常通信路𝑇が与えられたとしよう．

𝑃𝑋(𝑎𝑖) ≜ 𝑝𝑖 , 𝑃𝑌(𝑏𝑗) ≜ 𝑞𝑗 , 𝑃𝑌|𝑋(𝑏𝑗|𝑎𝑖) ≜ 𝑝𝑖𝑗

𝑃𝑋,𝑌(𝑎𝑖, 𝑏𝑗) = 𝑃𝑋(𝑎𝑖)𝑃𝑌|𝑋(𝑏𝑗|𝑎𝑖) = 𝑝𝑖𝑝𝑖𝑗

𝐻(𝑌) = −∑𝑃𝑌(𝑏𝑗) log2 𝑃𝑌(𝑞𝑗)

𝑗

= −∑𝑞𝑗 log2 𝑞𝑗𝑗

= −∑𝑝𝑖𝑞𝑗 log2 𝑞𝑗𝑖,𝑗

𝐻(𝑌|𝑋) =∑𝑃𝑋,𝑌(𝑎𝑖 , 𝑏𝑗) log2 𝑃𝑌|𝑋(𝑏𝑗|𝑎𝑖)

𝑖,𝑗

=∑𝑝𝑖𝑝𝑖𝑗 log2 𝑝𝑖𝑗𝑖,𝑗

であるので，通信路𝑇への入力𝑋と𝑇からの出力𝑌の相互情報量は次のようになる．

𝐼(𝑋; 𝑌) = 𝐻(𝑌) − 𝐻(𝑌|𝑋) = −∑𝑞𝑗 log2 𝑞𝑗𝑗

+∑𝑝𝑖𝑝𝑖𝑗 log2 𝑝𝑖𝑗𝑖,𝑗

=∑𝑝𝑖 (∑𝑝𝑖𝑗 log2𝑝𝑖𝑗

𝑞𝑗

𝑠

𝑗=1

)

𝑟

𝑖=1

このとき次のようにして決まる量

𝐶 = maxｐ

𝐼(𝑋; 𝑌) ここで，𝒑 = (𝑝1,⋯ , 𝑝𝑟)は入力の確率分布

を𝑇の通信路容量という．通信路の両端の相互情報量は，入力確率分布（または出力確率分

布）に依存するが，通信路容量はその最大値であり，通信路固有の値である．

図１．記憶のない定常通信路𝑇


2 / 18

8.2 記憶のない一様通信路の通信路容量

BSCや BSECのように通信路が一様，すなわち，どの入力シンボル，あるいは，出力信

号についても同様の伝達特性をもつとき，その性質を利用して通信路容量を簡単に導出で

きる．

一様性には，「入力について一様」と「出力について一様」がある（図 2）．

入力について一様な通信路の通信路容量は次のように求められる．

𝐶 = max𝒑𝐼(𝑋; 𝑌)

= max𝒑(−∑𝑞𝑗 log2 𝑞𝑗

𝑗

+∑𝑝𝑖𝑝𝑖𝑗 log2 𝑝𝑖𝑗𝑖,𝑗

)

= max𝒑(𝐻(𝑌) +∑𝑝1𝑗 log2 𝑝1𝑗

𝑠

𝑗=1

)

= max𝒑𝐻(𝑌) +∑𝑝1𝑗 log2 𝑝1𝑗

𝑠

𝑗=1

なぜならば，{𝑝𝛼1,⋯ , 𝑝𝛼𝑠} = {𝑝𝛽1,⋯ , 𝑝𝛽𝑠}だから

∑𝑝𝛼𝑗 log2 𝑝𝛼𝑗

𝑠

𝑗=1

=∑𝑝𝛽𝑗 log2 𝑝𝛽𝑗

𝑠

𝑗=1

=∑𝑝1𝑗 log2 𝑝1𝑗

𝑠

𝑗=1

である．したがって，

∑𝑝𝑖 (∑𝑝𝑖𝑗 log2 𝑝𝑖𝑗

𝑠

𝑗=1

)

𝑟

𝑖=1

=∑𝑝𝑖 (∑𝑝1𝑗 log2 𝑝1𝑗

𝑠

𝑗=1

)

𝑟

𝑖=1

=∑𝑝1𝑗 log2 𝑝1𝑗

𝑠

𝑗=1

図 2．入力と出力について一様な通信路の概念


3 / 18

となる．

さらに出力について一様ならば，

𝐶 = log2 𝑠 +∑𝑝1𝑗 log2 𝑝1𝑗

𝑠

𝑗=1

となる．なぜならば，

max𝒑𝐻(𝑌) = −(𝑞1 log2 𝑞1 +⋯+ 𝑞𝑠 log2 𝑞𝑠) ≤ log2 𝑠

等号が成立するのは，𝑞1 = ⋯ = 𝑞𝑠 =1

𝑠のときである．

では，実際に，そうなるときがあるか？答えは，YES である．𝑝1 = ⋯ = 𝑝𝑟 =1

𝑟のとき，

𝑞1 = ⋯ = 𝑞𝑠 =1

𝑠となる．なぜならば，任意の𝑗, 𝑘について，

𝑞𝑗 =∑𝑝(𝑎𝑖)𝑝(𝑏𝑗|𝑎𝑖) =

𝑟

𝑖=1

∑𝑝𝑖𝑝𝑖𝑗 =∑1

𝑟𝑝𝑖𝑗 =

1

𝑟∑𝑝𝑖𝑗

𝑟

𝑖=1

𝑟

𝑖=1

𝑟

𝑖=1

𝑞𝑘 =∑𝑝(𝑎𝑖)𝑝(𝑏𝑘|𝑎𝑖) =

𝑟

𝑖=1

1

𝑟∑𝑝𝑖𝑘

𝑟

𝑖=1

となるが，{𝑝1𝑗 ,⋯ , 𝑝𝑟𝑗} = {𝑝1𝑘 ,⋯ , 𝑝𝑟𝑘}であるので，∑ 𝑝𝑖𝑗𝑟𝑖=1 = ∑ 𝑝𝑖𝑘

𝑟𝑖=1 ，すなわち𝑞𝑗 = 𝑞𝑘 =

1

𝑠

が導かれる．

以上から，入力について一様，かつ，出力について一様（2重に一様）な通信路の通信路

容量𝐶は，

𝐶 = log2 𝑠 +∑𝑝1𝑗 log2 𝑝1𝑗

𝑠

𝑗=1

となる．

(1) BSC：𝑇 = [1 − 𝑝 𝑝𝑝 1 − 𝑝

]の通信路容量．入力についても出力についても一様であるから，

𝐶 = log2 2 +∑𝑝1𝑗 log2 𝑝1𝑗

2

𝑗=1

= 1 + 𝑝 log2 𝑝 + (1 − 𝑝) log2(1 − 𝑝) = 1 −ℋ(𝑝)

となる．

(2) BSEC：𝑇 = [1 − 𝑝X − 𝑝 𝑝X 𝑝

𝑝 𝑝X 1 − 𝑝X − 𝑝]の通信路容量：入力について一様であるので，

𝐶 = max𝒑𝐻(𝑌) +∑𝑝1𝑗 log2 𝑝1𝑗

𝑠

𝑗=1

= max𝒑𝐻(𝑌) + (1 − 𝑝X − 𝑝) log2(1 − 𝑝X − 𝑝) + 𝑝X log2 𝑝X + 𝑝 log2 𝑝

ここで，


4 / 18

𝐻(𝑌) = −(𝑞0 log2 𝑞0 + 𝑞X log2 𝑞X + 𝑞1 log2 𝑞1)

である．

𝐻(𝑌)の最大値を求めてみよう．入力で0の起きる確率を𝑥，1の起きる確率を𝑦とすると，

𝑥 + 𝑦 = 1, 0 ≤ {𝑥, 𝑦} ≤ 1であり，さらに

{

𝑞0 = (1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦

𝑞X = 𝑝X𝑥 + 𝑝X𝑦 = 𝑝X

𝑞1 = (1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥

であるので，

𝐻(𝑌) = −((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦) log2((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦)

−𝑞X log2 𝑞X

−((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥) log2((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥)

となる．そこでラグランジュの未定乗数法を用いて𝑥 + 𝑦 = 1, 0 ≤ {𝑥, 𝑦} ≤ 1という制約のも

とで，𝐻(𝑌)を最大にする𝑥と yの値を求めよう．そのためには，

𝐽 = −((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦) log2((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦) − 𝑞X log2 𝑞X

−((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥) log2((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥) + 𝜆(𝑥 + 𝑦 − 1)

と置いて，

𝜕𝐽

𝜕𝑥=𝜕𝐽

𝜕𝑦=𝜕𝐽

𝜕𝜆= 0

を解く．

𝜕𝐽

𝜕𝑥= −(1 − 𝑝X − 𝑝) log2((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦) −

1 − 𝑝X − 𝑝

ln2

−𝑝 log2((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥) −𝑝

ln 2+ 𝜆

𝜕𝐽

𝜕𝑦= −𝑝 log2((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦) −

𝑝

ln 2

−(1 − 𝑝X − 𝑝) log2((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥) −1 − 𝑝X − 𝑝

ln2+ 𝜆

𝜕𝐽

𝜕𝜆= 𝑥 + 𝑦 − 1

であるので，

−(1 − 𝑝X − 𝑝) log2((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦) − 𝑝 log2((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥)

= −𝑝 log2((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦) − (1 − 𝑝X − 𝑝) log2((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥)

となる．つまり，

(1 − 𝑝X − 2𝑝)(log2((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥) − log2((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦)) = 0

1 − 𝑝X − 2𝑝 ≠ 0となるように通信路パラメタが設定されている（＝通信路容量が0でない）


5 / 18

ときは，

log2((1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥) = log2((1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦)

から，

(1 − 𝑝X − 𝑝)𝑦 + 𝑝𝑥 = (1 − 𝑝X − 𝑝)𝑥 + 𝑝𝑦

となり，

(1 − 𝑝X − 2𝑝)(𝑥 − 𝑦) = 0

から，

𝑥 = 𝑦

が導かれる．

ここで，𝑥 + 𝑦 = 1だから𝑥 = 𝑦 =1

2，𝑞0 = 𝑞1 =

1−𝑝X

2となるので，

max𝑥+𝑦=1,0≤{𝑥,𝑦}≤1

𝐻(𝑌) = −(𝑝X log2 𝑝X + (1 − 𝑝X) log21 − 𝑝X2

)

が得られる．従って，

𝐶 = −(𝑝X log2 𝑝X + (1 − 𝑝X) log21 − 𝑝X2

)

+(1 − 𝑝X − 𝑝) log2(1 − 𝑝X − 𝑝) + 𝑝X log2 𝑝X + 𝑝 log2 𝑝

= (1 − 𝑝X)(1 − log2(1 − 𝑝X)) + (1 − 𝑝X − 𝑝) log2(1 − 𝑝X − 𝑝) + 𝑝 log2 𝑝

= 1 − 𝑝X + 𝑝 log2𝑝

1 − 𝑝X+ (1 − 𝑝X − 𝑝) log2

1 − 𝑝X − 𝑝

1 − 𝑝X

= (1 − 𝑝X) (1 +𝑝

1 − 𝑝Xlog2

𝑝

1 − 𝑝X+ (1 −

𝑝

1 − 𝑝X) log2 (1 −

𝑝

1 − 𝑝X))

= (1 − 𝑝X)(1 −ℋ (𝑝

1 − 𝑝X))

となる．■

つまり，ビット誤り率𝑝，消失率𝑝Xの BSECの通信路容量は，ビット誤り率が𝑝

1−𝑝Xの2元対

称通信路の通信路容量に(1 − 𝑝X)を掛けたものであることがわかった．

※ 0 ≤ {𝑝X, 𝑝} ≤ 1で，0 ≤ 1 − 𝑝X − 𝑝と仮定しているので0 ≤𝑝

1−𝑝X≤ 1である．

8.3 BSCを直列・並列接続する場合

(1) 直列接続された BSCの通信路容量

誤り率𝑝と𝑞の BSC を直列接続したときの通信路の通信路行列は，


6 / 18

[1 − 𝑝 𝑝

𝑝 1 − 𝑝] ∙ [

1 − 𝑞 𝑞

𝑞 1 − 𝑞] = [

1 − 𝑝 − 𝑞 + 2𝑝𝑞 𝑝 + 𝑞 − 2𝑝𝑞

𝑝 + 𝑞 − 2𝑝𝑞 1 − 𝑝 − 𝑞 + 2𝑝𝑞]

となり，これも BSC である（誤り率は𝑝 + 𝑞 − 2𝑝𝑞）．誤り率𝑝の BSC の通信路容量は1 −

ℋ(𝑝)であるので，

𝐶 = 1 −ℋ(𝑝 + 𝑞 − 2𝑝𝑞) = 1 −ℋ(1 − (𝑝 + 𝑞 − 2𝑝𝑞)) = 1 −ℋ(1 − 𝑝 − 𝑞 + 2𝑝𝑞)

となる．

(2) 並列接続された BSCの通信路容量

誤り率𝑝と𝑞の BSC を並列接続したときの通信路は図 3のようになる．

この通信路の入力，出力アルファベットは，{00,01,10,11}であり，通信路行列は，

[ (1 − 𝑝)(1 − 𝑞) (1 − 𝑝)𝑞 𝑝(1 − 𝑞) 𝑝𝑞

(1 − 𝑝)𝑞 (𝑞 − 𝑝)(1 − 𝑞) 𝑝𝑞 𝑝(1 − 𝑞)

𝑝(1 − 𝑞) 𝑝𝑞 (1 − 𝑝)(1 − 𝑞) (1 − 𝑝)𝑞

𝑝𝑞 𝑝(1 − 𝑞) (1 − 𝑝)𝑞 (1 − 𝑝)(1 − 𝑞)]

となる．この通信路は2重に一様であり，その通信路容量は，

𝐶 = log2 4 +∑𝑝1𝑗 log2 𝑝1𝑗

4

𝑗=1

= 2 + �̅��̅�log2(�̅��̅�) + �̅�𝑞log2(�̅�𝑞) + 𝑝�̅�log2(𝑝�̅�) + 𝑝𝑞log2(𝑝𝑞)

= 2 + �̅��̅�(log2�̅� + log2�̅�) + �̅�𝑞(log2�̅� + log2𝑞)

+𝑝�̅�(log2𝑝 + log2�̅�) + 𝑝𝑞(log2𝑝 + log2𝑞)

= 2 + 𝑝log2𝑝 + �̅�log2�̅� + 𝑞log2𝑞 + �̅�log2�̅�

= 2 −ℋ(𝑝) −ℋ(𝑞)

となる．すなわち，並列接続された BSCの通信路容量は，それぞれの BSCの通信路容量の

和に等しい：

𝐶 = 2 −ℋ(𝑝) −ℋ(𝑞) = (1 −ℋ(𝑝)) + (1 −ℋ(𝑞))

■

図 3．誤り率𝑝と𝑞の BSC を並列接続した通信路


7 / 18

8.4 記憶のない非一様通信路の通信路容量

(1) 次の通信路行列：

𝑇 = [�̅� 𝑝 0𝑝 �̅� 00 0 1

]

で規定される通信路（図 4）の通信路容量

を求めてみよう．ただし�̅� ≜ 1 − 𝑝，とす

る．

解：A, B, Cの生起確率を𝑥, 𝑦, 𝑧としよう．

すると，

0 ≤ {𝑥, 𝑦, 𝑧} ≤ 1, 𝑥 + 𝑦 + 𝑧 = 1

また，𝑋と𝑌の相互情報量については，

𝐻(𝑌) = (�̅�𝑥 + 𝑝𝑦) log21

�̅�𝑥 + 𝑝𝑦+ (�̅�𝑦 + 𝑝𝑥) log2

1

𝑝𝑥 + �̅�𝑦+ 𝑧 log2

1

𝑧

𝐻(𝑌|𝑋) = 𝑥ℋ(𝑝) + 𝑦ℋ(�̅�) + 𝑧ℋ(0) = (𝑥 + 𝑦)ℋ(𝑝)

より，

𝐼(𝑋; 𝑌) = 𝐻(𝑌) − 𝐻(𝑌|𝑋)

= (�̅�𝑥 + 𝑝𝑦) log21

�̅�𝑥 + 𝑝𝑦+ (�̅�𝑦 + 𝑝𝑥) log2

1

𝑝𝑥 + �̅�𝑦+ 𝑧 log2

1

𝑧− (𝑥 + 𝑦)ℋ(𝑝)

となる．

𝑥 + 𝑦 + 𝑧 = 1という条件のもとで，上の値を最大化する．ラグランジュの未定乗数法を使

う．つまり，

𝐽 = 𝐼(𝑋; 𝑌) + 𝜆(𝑥 + 𝑦 + 𝑧 − 1)

とおいて，連立方程式

𝜕𝐽

𝜕𝑥=𝜕𝐽

𝜕𝑦=𝜕𝐽

𝜕𝑧=𝜕𝐽

𝜕𝜆= 0

を解く．

{

�̅� log2

1

�̅�𝑥 + 𝑝𝑦+ 𝑝 log2

1

𝑝𝑥 + �̅�𝑦−

1

ln 2−ℋ(𝑝) + 𝜆 = 0

𝑝 log21

�̅�𝑥 + 𝑝𝑦+ �̅� log2

1

𝑝𝑥 + �̅�𝑦−

1

ln 2−ℋ(𝑝) + 𝜆 = 0

log21

𝑧−

1

ln 2− 𝜆 = 0

𝑥 + 𝑦 + 𝑧 = 1

図 4．通信路例１


8 / 18

第 1式と第 2式から

log21

�̅�𝑥 + 𝑝𝑦= log2

1

𝑝𝑥 + �̅�𝑦

従って，(1 − 2𝑝)𝑥 = (1 − 2𝑝)𝑦，ゆえに

𝑥 = 𝑦

が得られる．これを再び第 1式に代入して，

𝜆 = ℋ(𝑝) +1

ln 2+ log2 𝑥

一方，第 4式に𝑥 = 𝑦を適用して得られる𝑧 = 1 − 2𝑥を第 3式に代入すると，

𝜆 =1

ln 2+ log2(1 − 2𝑥)

が得られるので，

ℋ(𝑝) +1

ln 2+ log2 𝑥 =

1

ln 2+ log2(1 − 2𝑥)

これを𝑥について解く．ℋ(𝑝) = log21−2𝑥

𝑥から，

𝑥 =1

2ℋ(𝑝) + 2

が得られ，さらに，

𝑦 =1

2ℋ(𝑝) + 2

𝑧 = 1 −2

2ℋ(𝑝) + 2=

2ℋ(𝑝)

2ℋ(𝑝) + 2

が得られる．このとき I(X; Y)が最大値をとる．そのとき

𝑥 − 𝑝𝑥 + 𝑝𝑦 = 𝑦 − 𝑝𝑦 + 𝑝𝑥 =1

2ℋ(𝑝) + 2

から，

𝑥 + 𝑦 =2ℋ(𝑝)

2ℋ(𝑝) + 2

であるから，


9 / 18

𝐼(𝑋; 𝑌) =2

2ℋ(𝑝) + 2log2(2

ℋ(𝑝) + 2) +2ℋ(𝑝)

2ℋ(𝑝) + 2log2

2ℋ(𝑝) + 2

2ℋ(𝑝)−

2ℋ(𝑝)

2ℋ(𝑝) + 2

= log2(2ℋ(𝑝) + 2) −

2ℋ(𝑝)ℋ(𝑝)

2ℋ(𝑝) + 2−

2ℋ(𝑝)

2ℋ(𝑝) + 2

= log2(2ℋ(𝑝) + 2) −ℋ(𝑝)

= log2(2ℋ(𝑝) + 2) − log2 2

ℋ(𝑝)

= log22ℋ(𝑝) + 2

2ℋ(𝑝)

= log2(1 + 21−ℋ(𝑝))

■

(2) 次の通信路行列：

[ �̅� 𝑝

𝑝 �̅�

�̅� 𝑞

𝑞 �̅� ]

で規定される通信路の通信路容量を求め

てみよう．ただし，�̅� ≜ 1 − 𝑝, �̅� ≜ 1 − 𝑞と

する．

解：A, B, C, Dの生起確率を𝑥, 𝑦, 𝑢, 𝑣とする．そのときの出力確率分布は

�̅�𝑥 + 𝑝𝑦, 𝑝𝑥 + �̅�𝑦, �̅�𝑢 + 𝑞𝑣, 𝑞𝑢 + �̅�𝑣

となる．このとき，

𝐻(𝑌) = (�̅�𝑥 + 𝑝𝑦) log21

�̅�𝑥 + 𝑝𝑦+ (𝑝𝑥 + �̅�𝑦) log2

1

𝑝𝑥 + �̅�𝑦

+(�̅�𝑢 + 𝑞𝑣) log21

�̅�𝑢 + 𝑞𝑣+ (𝑞𝑢 + �̅�𝑣) log2

1

𝑞𝑢 + �̅�𝑣

𝐻(𝑌|𝑋) = (𝑥 + 𝑦)ℋ(𝑝) + (𝑢 + 𝑣)ℋ(𝑞)

である．ラグランジュの未定乗数法を使って，𝑋と𝑌の間の相互情報量: 𝐼(𝑋; 𝑌) = 𝐻(𝑌) −

𝐻(𝑌|𝑋)の最大値を求めよう．

𝐽 = (�̅�𝑥 + 𝑝𝑦) log21

�̅�𝑥 + 𝑝𝑦+ (𝑝𝑥 + �̅�𝑦) log2

1

𝑝𝑥 + �̅�𝑦

+(�̅�𝑢 + 𝑞𝑣) log21

�̅�𝑢 + 𝑞𝑣+ (𝑞𝑢 + �̅�𝑣) log2

1

𝑞𝑢 + �̅�𝑣

−((𝑥 + 𝑦)ℋ(𝑝) + (𝑢 + 𝑣)ℋ(𝑞)) + 𝜆(𝑥 + 𝑦 + 𝑢 + 𝑣)

図 5．通信路例 2

X

Y

P

Q

A

B

x

y

R

S

C

D

u

v

p

p

p

p

q

q

q

q


10 / 18

とすれば，

𝜕𝐽

𝜕𝑥= −(�̅� log2(�̅�𝑥 + 𝑝𝑦) +

�̅�

ln 2+ 𝑝 log2(𝑝𝑥 + �̅�𝑦) +

𝑝

ln 2) −ℋ(𝑝) + 𝜆 = 0

𝜕𝐽

𝜕𝑦= −(𝑝 log2(�̅�𝑥 + 𝑝𝑦) +

𝑝

ln 2+ �̅� log2(𝑝𝑥 + �̅�𝑦) +

�̅�

ln 2) −ℋ(𝑝) + 𝜆 = 0

𝜕𝐽

𝜕𝑢= −(�̅� log2(�̅�𝑢 + 𝑞𝑣) +

�̅�

ln 2+ 𝑞 log2(𝑞𝑢 + �̅�𝑣) +

𝑞

ln 2) −ℋ(𝑞) + 𝜆 = 0

𝜕𝐽

𝜕𝑣= −(𝑞 log2(�̅�𝑢 + 𝑞𝑣) +

𝑞

ln 2+ �̅� log2(𝑞𝑢 + �̅�𝑣) +

�̅�

ln 2) −ℋ(𝑞) + 𝜆 = 0

𝑥 + 𝑦 + 𝑢 + 𝑣 = 1

ゆえに，

𝑥 = 𝑦, 𝑢 = 𝑣

これらを第 2式，第 4式に代入すると，

− log2 𝑥 −1

ln 2−ℋ(𝑝) + 𝜆 = 0

− log2 𝑢 −1

ln 2−ℋ(𝑞) + 𝜆 = 0

従って，

log2 𝑥 +ℋ(𝑝) = log2 𝑢 +ℋ(𝑞)

𝑥

𝑢= 2ℋ(𝑞)−ℋ(𝑝)

となる，これらを第 5式に代入して，

𝑥 + 𝑥 + 2ℋ(𝑝)−ℋ(𝑞)𝑥 + 2ℋ(𝑝)−ℋ(𝑞)𝑥 = 1

ゆえに，

𝑥 =1

2(1 + 2ℋ(𝑝)−ℋ(𝑞))

𝑢 =2ℋ(𝑝)−ℋ(𝑞)

2(1 + 2ℋ(𝑝)−ℋ(𝑞))

となり，


11 / 18

𝐼(𝑋; 𝑌) = 𝐻(𝑌) − 𝐻(𝑌|𝑋)

=1

1 + 2ℋ(𝑝)−ℋ(𝑞)log2(2(1 + 2

ℋ(𝑝)−ℋ(𝑞)))

+2ℋ(𝑝)−ℋ(𝑞)

1 + 2ℋ(𝑝)−ℋ(𝑞)log2

2(1 + 2ℋ(𝑝)−ℋ(𝑞))

2ℋ(𝑝)−ℋ(𝑞)

−1

1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑝) −


1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑞)

=1

1 + 2ℋ(𝑝)−ℋ(𝑞)(log2(1 + 2

ℋ(𝑝)−ℋ(𝑞)) + 1)

+2ℋ(𝑝)−ℋ(𝑞)

1 + 2ℋ(𝑝)−ℋ(𝑞)(log2

1 + 2ℋ(𝑝)−ℋ(𝑞)

2ℋ(𝑝)−ℋ(𝑞)+ 1)

−1

1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑝) −


1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑞)

= 1 +1

1 + 2ℋ(𝑝)−ℋ(𝑞)log2(1 + 2

ℋ(𝑝)−ℋ(𝑞))

+2ℋ(𝑝)−ℋ(𝑞)

1 + 2ℋ(𝑝)−ℋ(𝑞)(log2(1 + 2

ℋ(𝑝)−ℋ(𝑞)) − (ℋ(𝑝) −ℋ(𝑞)))

−1

1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑝) −


1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑞)

= 1 + log2(1 + 2ℋ(𝑝)−ℋ(𝑞))

−2ℋ(𝑝)−ℋ(𝑞)

1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑝) +


1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑞)

−1

1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑝) −


1 + 2ℋ(𝑝)−ℋ(𝑞)ℋ(𝑞)

= 1 + log2(1 + 2ℋ(𝑝)−ℋ(𝑞)) −ℋ(𝑝)

= log2(1 + 2ℋ(𝑝)−ℋ(𝑞)) + log2 2

1−ℋ(𝑝)

= log2(21−ℋ(𝑝) + 21−ℋ(𝑞))

が得られる．

■

(2)は並列接続された BSC に似ている．実際，通信路容量を𝑝, 𝑞の関数として描いてみる

と，図 6のようになる．実際，通信路行列を見れば，(2)の方が，クロストークが少ないこと

が分かる．典型的なケースについては，表 1参照．


12 / 18

8.5 記憶のない𝟐元定常通信路一般の場合—定性解

通信路行列 𝑇 = [�̅� 𝑝𝑞 �̅�]

で規定される記憶

のない2元定常通信路一般（図 6）

の通信路容量𝐶について検討してみよう．

(1) 以下では，通信路容量の定義

𝐶 = max𝑝[𝐼(𝑋; 𝑌)] = max

𝑝[𝐻(𝑌) − 𝐻(𝑌|𝑋)]

に従って，𝐶の値を推定することとする．

(2) 出力アルファベット1の発生確率を𝑦とすると，出力側のエントロピーを𝐻(𝑌)とすると，

𝐻(𝑌) = −(𝑦 log2 𝑦 + (1 − 𝑦) log2(1 − 𝑦))

となる．

(3) 一方，入力アルファベット1の発生確率を𝑥とすると，

𝑦 = (1 − 𝑥)𝑝 + 𝑥�̅�

である．𝑥が0から1の間を動くに従い，𝑦は𝑝から�̅�までの間を動く．また，

並列接続された BSCの通信路容量 8.4節(2)の通信路の通信容量

図 6．並列接続 BSCと通信路例 2の通信路容量

表 1．並列接続 BSCと通信路例 2の通信路容量の比較

通信路 𝑝 = 𝑞 = 0のときの通信路容量 𝑝 = 0, 𝑞 =1

2のときの通信路容量

並列接続 BSC 2 1

通信路例(2) 2 log2 3

図 6．一般の２元定常通信路


13 / 18

𝑥 =𝑦 − 𝑝

�̅� − 𝑝

である．

(4) この通信路の条件付エントロピー𝐻(𝑌|𝑋)と相互情報量𝐼(𝑋; 𝑌)を求める．

𝐻(𝑌|𝑋) = (1 − 𝑥)ℋ(𝑝) + 𝑥ℋ(�̅�)

であるが，(3)より，𝑥 =𝑦−𝑝

�̅�−𝑝であるので，これを代入して，

𝐻(𝑌|𝑋) = (1 −𝑦 − 𝑝

�̅� − 𝑝)ℋ(𝑝) +

𝑦 − 𝑝

�̅� − 𝑝ℋ(�̅�) =

�̅� − 𝑦

�̅� − 𝑝ℋ(𝑝) +

𝑦 − 𝑝

�̅� − 𝑝ℋ(�̅�)

を得る．

𝑦が𝑝から�̅�までの間を動くにつれて，𝐻(𝑌|𝑋)はℋ(𝑝)からℋ(�̅�)までを直線的に変化する

（図 7）．従って，

𝐼(𝑋; 𝑌) = 𝐻(𝑌) − 𝐻(𝑌|𝑋) = ℋ(𝑦) − (�̅� − 𝑦

�̅� − 𝑝ℋ(𝑝) +

𝑦 − 𝑝

�̅� − 𝑝ℋ(�̅�))

となる．

ここで，𝑝 < �̅�とすれば，𝐼(𝑋; 𝑌)は概ね図 8 のような関数であることがわかる（そうでな

い場合は，𝑝と�̅�を入れ替えれば同じ議論となる）．図 8から明らかなように，𝐼(𝑋; 𝑌)のグラ

フの形状は上に凸であり，𝑝 ≤ 𝑦max ≤ �̅�となるある𝑦maxに対して最大値：

ℋ(𝑦max) − (�̅� − 𝑦max�̅� − 𝑝

ℋ(𝑝) +𝑦max − 𝑝

�̅� − 𝑝ℋ(�̅�))

をとる．この値が求める通信路容量である．

図 7． 𝑝 ≤ 𝑦 ≤ �̅�のとき，𝐻(𝑌|𝑋)はℋ(𝑝)からℋ(�̅�)までを直線的に変化する


14 / 18

図 9 が示唆するように，𝑦maxの値は，(𝑝,ℋ(𝑝))と(�̅�,ℋ(�̅�))を結ぶ線分と同じ傾きを持つ直

線がエントロピー関数ℋ(y)と接する点の横軸座標値である．

さて，𝑞の値を固定したまま，𝑝の値を0から1まで変えてみよう．この通信路の通信路容

量が𝑝の値によってどのように変化するかを，𝑝を横軸，通信路容量を縦軸とする2次元平面

上で表してみると図 10のようになる．

このように，通信路容量はパラメータ𝑝の下に凸な関数であり，𝑝 = �̅�のとき通信路容量は

最小値0を，𝑝 = 0または1のとき最大値をとる．

𝑝 = �̅�のとき（図 11）は，通信路容量は0になる．出力アルファベット1の生起確率𝑦につ

いて

𝑦 = 𝑝(1 − 𝑥) + 𝑝𝑥 = 𝑝

となり，入力アルファベットの生起確率𝑥に関係なく決まる，すなわち，入力情報が出力に

全く伝わらないという状況に対応している．

図 8．𝐼(𝑋; 𝑌)の概形．ただし，𝑝 < �̅�と仮定．

図 9．𝑦maxの値は，(𝑝,ℋ(𝑝))と(�̅�,ℋ(�̅�))を結ぶ線分と同じ傾きを持つ直線がエントロ

ピー関数ℋ(y)と接する点の横軸座標値である．


15 / 18

8.6 記憶のない𝟐元定常通信路一般の場合—定量解

今度は，通信路行列 𝑇 = [�̅� 𝑝𝑞 �̅�]

で規定される記憶のない2元定常通信路の通信路容量𝐶を

を定量的に求めよう．ただし，�̅� ≜ 1 − 𝑝, �̅� = 1 − 𝑞とする．

通信路容量の定義により，

𝐶 = max𝑝[𝐼(𝑋; 𝑌)] = max

𝑝[𝐻(𝑌) − 𝐻(𝑌|𝑋)]

出力アルファベット1の生起確率を𝑦とすると，出力側のエントロピーを𝐻(𝑌)とすると，

𝐻(𝑌) = −(𝑦 log2 𝑦 + (1 − 𝑦) log2(1 − 𝑦))

となる．入力シンボルの生起確率を𝑥, 𝑦とする．すると，

0 ≤ {𝑥, 𝑦} ≤ 1, 𝑥 + 𝑦 = 1

また，

図 10．𝑞の値が与えられたときの図 6の通信路の通信路容量

図 11．図 6の通信路の通信路容量が0になる場合．


16 / 18

𝐻(𝑌|𝑋) = 𝑥ℋ(𝑝) + 𝑦ℋ(𝑞)

𝐻(𝑌) = −(�̅�𝑥 + 𝑞𝑦) log2(�̅�𝑥 + 𝑞𝑦) − (𝑝𝑥 + �̅�𝑦) log2(𝑝𝑥 + �̅�𝑦)

となるので，

𝐼(𝑋; 𝑌) = −(�̅�𝑥 + 𝑞𝑦) log2(�̅�𝑥 + 𝑞𝑦) − (𝑝𝑥 + �̅�𝑦) log2(𝑝𝑥 + �̅�𝑦) −𝑥ℋ(𝑝) − 𝑦ℋ(𝑞)

ラグランジュの未定乗数法により，

𝐽 = 𝐼(𝑋; 𝑌) − 𝜆(𝑥 + 𝑦 − 1)

= −(�̅�𝑥 + 𝑞𝑦) log2(�̅�𝑥 + 𝑞𝑦) − (𝑝𝑥 + �̅�𝑦) log2(𝑝𝑥 + �̅�𝑦) − 𝑥ℋ(𝑝) − 𝑦ℋ(𝑞)

−𝜆(𝑥 + 𝑦 − 1)

と置いて，

𝜕𝐽

𝜕𝑥=𝜕𝐽

𝜕𝑦=𝜕𝐽

𝜕𝜆= 0

を満たす𝑥, 𝑦を探す．

𝜕𝐽

𝜕𝑥= −

�̅�

ln 2ln(�̅�𝑥 + 𝑞𝑦) −

�̅�

ln 2−

𝑝

ln 2ln(𝑝𝑥 + �̅�𝑦) −

𝑝

ln 2−ℋ(𝑝) − 𝜆

𝜕𝐽

𝜕𝑦= −

𝑞

ln2ln(�̅�𝑥 + 𝑞𝑦) −

𝑞

ln 2−

�̅�

ln 2ln(𝑝𝑥 + �̅�𝑦) −

�̅�

ln 2−ℋ(𝑞) − 𝜆

𝑥 + 𝑦 − 1 = 0

はじめの2つの式から

(𝑞 − �̅�)(log2(�̅�𝑥 + 𝑞𝑦) − log2(𝑝𝑥 + �̅�𝑦)) = ℋ(𝑝) −ℋ(𝑞)

log2�̅�𝑥 + 𝑞𝑦

𝑝𝑥 + �̅�𝑦=ℋ(𝑝) −ℋ(𝑞)

𝑞 − �̅�

�̅�𝑥 + 𝑞𝑦

𝑝𝑥 + �̅�𝑦= 2

ℋ(𝑝)−ℋ(𝑞)𝑞−�̅�

𝑝𝑥2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + �̅�𝑦2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� = �̅�𝑥 + 𝑞𝑦

(𝑝2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� − �̅�) 𝑥 = (𝑞 − �̅�2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� )𝑦

となるので

𝑥 =𝑞 − �̅�2

ℋ(𝑝)−ℋ(𝑞)𝑞−�̅�

(𝑝 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

, 𝑦 =𝑝2

ℋ(𝑝)−ℋ(𝑞)𝑞−�̅� − �̅�

(𝑝 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

が得られる．そのとき，


17 / 18

�̅�𝑥 + 𝑞𝑦 =

�̅� (𝑞 − �̅�2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� )

(𝑝 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

+

𝑞 (𝑝2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� − �̅�)

(𝑝 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

=(𝑝 − �̅�)2

ℋ(𝑝)−ℋ(𝑞)𝑞−�̅�

(𝑝 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

=2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅�


𝑞−�̅� + 1

また，

𝑝𝑥 + �̅�𝑦 =

𝑝 (𝑞 − �̅�2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� )

(𝑝 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

+

�̅� (𝑝2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� − �̅�)

(𝑝 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

=𝑝 − �̅�

(𝑝 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

=1


𝑞−�̅� + 1

であるので，通信路容量は上記の値を使って，

𝐶 = −(�̅�𝑥 + 𝑞𝑦) log2(�̅�𝑥 + 𝑞𝑦) − (𝑝𝑥 + �̅�𝑦) log2(𝑝𝑥 + �̅�𝑦) −𝑥ℋ(𝑝) − 𝑦ℋ(𝑞)

= ℋ(1


𝑞−�̅� + 1

)−

ℋ(𝑝)(𝑞 − �̅�2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� )

(𝑞 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

−

ℋ(𝑞)(𝑝2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� − �̅�)

(𝑞 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

もう少し右辺を整理すると，


18 / 18

ℋ(1


𝑞−�̅� + 1

) = −1


𝑞−�̅� + 1

log2(1


𝑞−�̅� + 1

)

−2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅�


𝑞−�̅� + 1

log2(2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅�


𝑞−�̅� + 1

)

=1


𝑞−�̅� + 1

log2 (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

+2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅�


𝑞−�̅� + 1

log2 (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

−2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅�


𝑞−�̅� + 1

∙ℋ(𝑝) −ℋ(𝑞)

𝑞 − �̅�

= log2 (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1) −2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅�


𝑞−�̅� + 1

∙ℋ(𝑝) −ℋ(𝑞)

𝑞 − �̅�

であるので

𝐶 = log2 (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1) −2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅�


𝑞−�̅� + 1

∙ℋ(𝑝) −ℋ(𝑞)

𝑞 − �̅�

−

ℋ(𝑝)(𝑞 − �̅�2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� )

(𝑞 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

−

ℋ(𝑞)(𝑝2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� − �̅�)

(𝑞 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

= log2 (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

+

ℋ(𝑝)(−𝑞 − (1 − �̅�)2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� )

(𝑞 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

+

ℋ(𝑞)((1 − 𝑝)2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + �̅�)

(𝑞 − �̅�) (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)

= log2 (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1) −𝑞ℋ(𝑝)

(𝑞 − �̅�)+�̅�ℋ(𝑞)

(𝑞 − �̅�)

= log2 (2ℋ(𝑝)−ℋ(𝑞)

𝑞−�̅� + 1)2−𝑞ℋ(𝑝)+�̅�ℋ(𝑞)

𝑞−�̅�

= log2 (2�̅�ℋ(𝑝)−𝑝ℋ(𝑞)

𝑞−�̅� + 2−𝑞ℋ(𝑝)+�̅�ℋ(𝑞)

𝑞−�̅� )

が得られる．

8. 通信路容量 - 京都大学...BSC やBSEC...

Documents

Transcript of 8. 通信路容量 - 京都大学...BSC やBSEC...