8.2 ガウス通信路の容量

系 8.1.5 は，ガウス通信路の運ぶ情報が $ℎ (𝑌) - 12 l o g (2 𝜋 𝑒 𝑁)$ であり，差し引く側が入力によらないことを示した．したがって，運べる量を最大にする問いは，出力の微分エントロピー $ℎ (𝑌)$ を最大にする問いにほかならない．8.1 節の終わりに書いたとおり，入力に電力の制約を置かなければこれはいくらでも大きくなる．制約を置くと何が起きるかを，本節で決める．

答えを先に言えば，密度をもち $ℎ (𝑋)$ と $ℎ (𝑌)$ がどちらも定まる入力に限って考えると，制約 $𝔼 [𝑋 2] \leq 𝑃$ のもとでの上限は $12 l o g (1 + 𝑃 / 𝑁)$ であり，それを与えるのは $N (0, 𝑃)$ に従う入力である．二つの道具がこれを決める．電力制約が出力の分散を $𝑃 + 𝑁$ 以下に抑えることと，分散を抑えられた分布の微分エントロピーが上から抑えられること（定理 7.2.4）である．上限が実際にその値になるのは，その上界をガウス分布が達成する（系 7.2.5）からで，例 8.1.6 がすでに計算した値がそのまま最大値になる，という形になる．

容量の定義

定義 8.2.1（ガウス通信路の容量）. $𝑁 > 0$ ， $𝑃 > 0$ とする．密度をもつ実数値確率変数 $𝑋$ が 電力 $𝑃$ の制約を満たす とは， $𝔼 [𝑋 2]$ が定まって $𝔼 [𝑋 2] \leq 𝑃$ であることをいう．雑音の分散 $𝑁$ のガウス通信路（定義 8.1.1）の，電力 $𝑃$ の制約のもとでの 通信路容量 を

𝐶 (𝑃, 𝑁) : = s u p 𝐼 (𝑋; 𝑌)

で定める．上限は，密度をもち電力 $𝑃$ の制約を満たす実数値確率変数 $𝑋$ であって， $ℎ (𝑋)$ と， $𝑋$ を通信路に与えて得られる出力 $𝑌$ の $ℎ (𝑌)$ とがどちらも定まるもの，の全体にわたってとる．

第6章の通信路容量 $𝐶 (𝑊)$ （定義 6.1.4）と字面が重なるが，別のものである．あちらは通信路そのものを引数にとり，こちらはつねに電力と雑音の分散という二つの実数を引数にとる．どちらもこの分野の標準的な書き方なので，引数の個数で見分けることにする．

上限をとる範囲が空でないことは，例 8.1.6 が示している． $N (0, 𝑃)$ に従う入力は電力 $𝑃$ の制約を満たし（借りたガウス分布の基本性質より $𝔼 [𝑋 2] = 𝑃$ である）， $ℎ (𝑋)$ も $ℎ (𝑌)$ も定まる．上に有界であることは定理 8.2.2 が示す．したがって $𝐶 (𝑃, 𝑁)$ は実数である．上限をとる範囲をこう絞ったのは，相互情報量が定まるようにするための技術的なものである．密度をもたない入力のほうが多く運べるかどうかを，この定義が否定しているのではない．実際に運べるレートの限界は 8.3 節で符号について直接示すので，そちらはこの絞り込みに依存しない．

形式化上の注記. 形式化の容量 awgnCapacity (InformationTheory/Shannon/AWGN/Basic.lean) は，定義 8.2.1 より広い範囲の上限として定義されている．あちらが動かすのは $2$ 乗の平均が $𝑃$ 以下であるすべての入力の分布で，密度をもつものに限らず，相互情報量も測度論の言葉で書かれている．有限個の値しかとらない入力も範囲に入るので，動かす入力の集合は定義 8.2.1 のそれを真に含む．二つは別の量であり，本節が示すのは狭いほうについての主張である．

上界

定理 8.2.2（電力制約のもとでの上界）. $𝑁 > 0$ ， $𝑃 > 0$ とし，密度をもつ実数値確率変数 $𝑋$ をガウス通信路（定義 8.1.1）に与えて出力 $𝑌$ を得るとする． $𝑋$ が電力 $𝑃$ の制約を満たし（定義 8.2.1）， $ℎ (𝑋)$ と $ℎ (𝑌)$ がどちらも定まるならば

𝐼 (𝑋; 𝑌) \leq 12 l o g (1 + 𝑃 𝑁)

である．

証明. $𝑋$ の密度を $𝑓$ とし，定義 8.1.1 より $(𝑋, 𝑌)$ の結合密度を $𝐹 (𝑥, 𝑦) = 𝑓 (𝑥) 𝑔 𝑥, 𝑁 (𝑦)$ とする．7.4 節で借りた周辺密度の存在により， $𝐹$ の第 $2$ 周辺密度（定義 7.4.1）

𝑓 𝑌 (𝑦) = \int ℝ 𝑓 (𝑥) 𝑔 𝑥, 𝑁 (𝑦) 𝑑 𝑥

は $𝑌$ の密度である．

出力の $2$ 乗の平均を求める． $𝑥$ を固定すると，7.2 節で借りたガウス分布の基本性質より $N (𝑥, 𝑁)$ の平均は $𝑥$ ，分散は $𝑁$ であり，全積分は $1$ だから， $𝑦 2 = (𝑦 - 𝑥) 2 + 2 𝑥 (𝑦 - 𝑥) + 𝑥 2$ を項ごとに積分して

\int ℝ 𝑔 𝑥, 𝑁 (𝑦) 𝑦 2 𝑑 𝑦 = 𝑁 + 0 + 𝑥 2

である． $𝐹 (𝑥, 𝑦) 𝑦 2$ は非負だから，8.1 節で借りた累次積分を当てると，7.1 節で借りた期待値の積分表示と合わせて

𝔼 [𝑌 2] = \int ℝ 𝑓 𝑌 (𝑦) 𝑦 2 𝑑 𝑦 = \int ℝ 𝑓 (𝑥) (\int ℝ 𝑔 𝑥, 𝑁 (𝑦) 𝑦 2 𝑑 𝑦) 𝑑 𝑥 = 𝔼 [𝑋 2] + 𝑁

であり，仮定よりこれは $𝑃 + 𝑁$ 以下の有限の値である．同じ計算を $𝑦$ の $1$ 次で行うと， $| 𝑦 | \leq (1 + 𝑦 2) / 2$ より積分は絶対収束し， $\int 𝑔 𝑥, 𝑁 (𝑦) 𝑦 𝑑 𝑦 = 𝑥$ だから $𝔼 [𝑌] = 𝔼 [𝑋]$ である（ $𝔼 [𝑋]$ が定まることは $| 𝑥 | \leq (1 + 𝑥 2) / 2$ と $𝔼 [𝑋 2] \leq 𝑃$ から従う）．

定理 7.2.4 を当てる． $𝑌$ は密度をもち， $ℎ (𝑌)$ は仮定より定まり，平均をもち，その分散は $𝔼 [𝑌 2] - 𝔼 [𝑌] 2 \leq 𝔼 [𝑌 2] \leq 𝑃 + 𝑁$ である． $𝑁 > 0$ より $𝑃 + 𝑁 > 0$ だから， $𝜎 2 : = 𝑃 + 𝑁$ ととって定理 7.2.4 より

ℎ (𝑌) \leq 12 l o g (2 𝜋 𝑒 (𝑃 + 𝑁))

である．系 8.1.5 よりこれと $12 l o g (2 𝜋 𝑒 𝑁)$ の差が $𝐼 (𝑋; 𝑌)$ を上から抑えるので

𝐼 (𝑋; 𝑌) \leq 12 l o g (2 𝜋 𝑒 (𝑃 + 𝑁)) - 12 l o g (2 𝜋 𝑒 𝑁) = 12 l o g 𝑃 + 𝑁 𝑁

を得る．右辺は $12 l o g (1 + 𝑃 / 𝑁)$ である． $◼$

形式化上の注記. 定理 8.2.2 に近い宣言として awgn_per_input_mi_le_log (InformationTheory/Shannon/AWGN/CapacityConverseMaxent.lean) がある．こちらは入力の分布が密度をもつことも微分エントロピーが定まることも仮定せず， $2$ 乗の平均が $𝑃$ 以下であるだけで同じ上界を与える．ただし相互情報量は通信路と入力の分布から測度論の言葉で組み立てたもので，定義 7.5.4 の密度で書いた相互情報量と結びつけるには宣言をもう一つ経由することになる．抑えている対象がそもそも別の量なので，定理 8.2.2 との強弱は比べられない．本文の主張をそのまま証明する単独の宣言にはなっていない．

証明で電力制約が効いたのは一か所だけで，出力の $2$ 乗の平均を $𝑃 + 𝑁$ で抑えるところである． $𝔼 [𝑌 2] = 𝔼 [𝑋 2] + 𝑁$ という等式は，雑音の散らばりが入力の散らばりにそのまま足されることを言っている．入力の電力を抑えることが出力の散らばりを抑え，散らばりを抑えられた分布の微分エントロピーには上限がある，という筋である．離散のときの命題 6.1.7 が，容量をアルファベットの大きさで抑えたのと同じ役割を，ここでは電力制約が果たしている．実軸の上には「入れ物の大きさ」にあたるものがないので（7.2 節），代わりに分散が入れ物になる．

達成と閉じた式

系 8.2.3. $𝑁 > 0$ ， $𝑃 > 0$ とする． $N (0, 𝑃)$ に従う入力 $𝑋$ は定理 8.2.2 の仮定を満たし，その不等式は等号で成り立つ．

証明. 借りたガウス分布の基本性質より $𝔼 [𝑋 2] = 𝑃$ だから， $𝑋$ は電力 $𝑃$ の制約を満たす．例 8.1.6 より出力 $𝑌$ は $N (0, 𝑃 + 𝑁)$ に従い，定理 7.2.2 より $ℎ (𝑋)$ と $ℎ (𝑌)$ はどちらも定まる．よって定理 8.2.2 の仮定を満たす．その値は例 8.1.6 より $12 l o g (1 + 𝑃 / 𝑁)$ で，定理 8.2.2 の右辺に等しい． $◼$

定理 8.2.4（ガウス通信路の容量）. $𝑁 > 0$ ， $𝑃 > 0$ とする．このとき

𝐶 (𝑃, 𝑁) = 12 l o g (1 + 𝑃 𝑁)

である．

証明. 定理 8.2.2 より $12 l o g (1 + 𝑃 / 𝑁)$ は定義 8.2.1 で上限をとる値の集合の上界であり，系 8.2.3 よりその集合の元でもある．上限は上界のうち最小のものだから，この二つから等号が従う． $◼$

形式化上の注記. 形式化の awgn_capacity_closed_form_genuine (InformationTheory/Shannon/AWGN/CapacityConverseMaxent.lean) は，定義 8.2.1 より広い範囲の上限として定めた容量 awgnCapacity (InformationTheory/Shannon/AWGN/Basic.lean) が同じ閉じた式に等しいことを， $𝑃 > 0$ と $𝑁 \neq 0$ だけを仮定して与える．上限をとる範囲が定義 8.2.1 と違うので，定理 8.2.4 をそのまま証明する宣言ではないが，値としては一致する．形式化にはこのほかに，閉じた式そのものを仮定の側に置いた宣言も残っている（awgn_capacity_closed_form (InformationTheory/Shannon/AWGN/Main.lean) がその一つで，ガウス入力での値と最大エントロピー上界を仮定として受け取り，二つを組み合わせるだけの宣言である）．そちらは保証としては使えないので，紐付け先にはとらない．

$𝑃 > 0$ は落とせない． $𝑃 = 0$ のとき電力 $0$ の制約は $𝔼 [𝑋 2] = 0$ を要求する． $𝑋 2$ は非負だから，その平均が $0$ になるのは $𝑋$ が確率 $1$ で $0$ をとるときに限る．そして $1$ 点は体積 $0$ の集合だから，7.1 節で借りた体積 $0$ の集合の確率により，そのような $𝑋$ は密度をもたない．定義 8.2.1 が上限をとる範囲は密度をもつ入力に限られているので，範囲が空になり $𝐶 (0, 𝑁)$ は定まらない．電力を配らない経路が混じる場面（8.6 節）では，その経路を定理 8.2.4 の対象から外して別に扱うことになる．

定理 8.2.4 は，離散のときの例 6.1.8 や例 6.1.9 にあたる計算である．あちらは通信路の対称性を使って最大化する入力分布を当てたが，こちらは最大エントロピー性が最大化する入力を教えてくれる．上界を与えるのが定理 7.2.4 で，その上界をガウス分布が達成することを与えるのが系 7.2.5 である．出力をガウス分布にしたいので，入力をガウス分布にとる，というのがその内容である．雑音がガウス分布なので，入力もガウス分布にとれば出力もガウス分布になり（例 8.1.6），上界がそのまま達成される．

両端で確かめる. $𝑃 \to 0$ とすると $l o g (1 + 𝑃 / 𝑁) \to 0$ で容量は $0$ に近づく．送る電力がなければ何も運べない． $𝑁$ を大きくしても同じで，雑音に埋もれれば運べる量は $0$ に向かう．逆に $𝑃 / 𝑁$ を大きくすると容量は際限なく増えるが，増え方は対数なので緩い．二元対称通信路の容量が $1$ ビットで頭打ちになった（例 6.1.8）のと違い，ガウス通信路の容量には通信路の側から決まる頭打ちがない．離散の通信路では容量が $l o g | X |$ を超えられない（命題 6.1.7）のに対し，定理 8.2.4 の右辺を決めているのは電力と雑音の比だけで，比を大きくとればいくらでも大きくなるからである．入力アルファベットが実軸の全体で，いくらでも離れた点をとれることが，この違いの元にある．

本節から先で何度も使う小さな事実を，ここで一つだけ切り出しておく． $l o g$ の単調性は学部の解析ではそのまま使ってよい事実だが，本書が $l o g$ について証明したのは狭義凹性（補題 1.1.6）と，そこから出る接線不等式（補題 1.1.7）だけなので，単調性もそこから出しておく．補題 1.1.7 の対数不等式が，これをそのまま含んでいる．

補題 8.2.5（対数の単調性）. $0 < 𝑠 \leq 𝑡$ ならば $l o g 𝑠 \leq l o g 𝑡$ であり， $0 < 𝑠 < 𝑡$ ならば $l o g 𝑠 < l o g 𝑡$ である．とくに $𝑠 > 1$ ならば $l o g 𝑠 > 0$ である．

証明. 補題 1.1.7 の対数不等式 $l o g 𝑢 \leq (𝑢 - 1) l o g 𝑒$ （等号は $𝑢 = 1$ に限る）を $𝑢 : = 𝑠 / 𝑡$ に当てる． $0 < 𝑠 \leq 𝑡$ のとき $0 < 𝑢 \leq 1$ だから， $l o g 𝑠 - l o g 𝑡 = l o g 𝑢 \leq (𝑢 - 1) l o g 𝑒 \leq 0$ である（ $l o g 𝑒 > 0$ による）． $𝑠 < 𝑡$ なら $𝑢 < 1$ で等号の場合から外れるので，同じ式の第 $1$ の不等号が真の不等号になり $l o g 𝑠 < l o g 𝑡$ を得る．最後の主張は， $𝑠 > 1$ のとき前半を $0 < 1 < 𝑠$ に当てて $l o g 1 = 0$ を使えばよい． $◻$

電力の配り方を，いちばん小さい形で見ておく．同じ雑音の通信路を二回使うとき，手元の電力を二つの時刻にどう配れば容量の和が大きくなるか，という問いである．この問いは 8.3 節の逆定理で，各時刻の分散を平均で置き換えて上から抑える段として効き，8.6 節では雑音の強さが経路ごとに違う場合を扱う．

例 8.2.6（電力を二つに分ける）. $𝑁 > 0$ ， $𝑃 > 0$ とする． $𝑃 0 \geq 0$ ， $𝑃 1 \geq 0$ ， $𝑃 0 + 𝑃 1 = 𝑃$ を満たす配分 $(𝑃 0, 𝑃 1)$ に対して

Φ (𝑃 0, 𝑃 1) : = 12 l o g (1 + 𝑃 0 𝑁) + 12 l o g (1 + 𝑃 1 𝑁)

とおく．このとき $Φ (𝑃 2, 𝑃 2) > Φ (𝑃, 0)$ である．

証明. 両辺を書き下す． $Φ (𝑃 2, 𝑃 2)$ は同じ項が二つ並ぶので $l o g (1 + 𝑃 2 𝑁)$ に等しく， $l o g 1 = 0$ だから $Φ (𝑃, 0) = 12 l o g (1 + 𝑃 𝑁)$ である．

大小をくらべる． $𝑢 : = 𝑃 / (2 𝑁) > 0$ とおくと，二つの量の差は

l o g (1 + 𝑢) - 12 l o g (1 + 2 𝑢) = 12 (l o g ((1 + 𝑢) 2) - l o g (1 + 2 𝑢)) = 12 l o g (1 + 𝑢) 2 1 + 2 𝑢

である． $(1 + 𝑢) 2 = 1 + 2 𝑢 + 𝑢 2$ だから，対数の中身は $1 + 𝑢 2 1 + 2 𝑢$ で， $1$ より大きい．補題 8.2.5 よりその対数は正だから，上の差は正である． $◼$

例 8.2.6 がくらべているのは電力の配分どうしであって，使用回数ではない． $Φ$ の各項は，定理 8.2.4 によれば電力 $𝑃 𝑖$ のガウス通信路の容量である（それが $1$ 回の使用あたりに運べるビット数だと言えるのは，8.4 節の系 8.4.2 のあとである）． $𝑃 𝑖 = 0$ の項は，そのまま読めば値が $0$ だが，本節で見たとおり電力 $0$ では上限をとる範囲が空になるので，定理 8.2.4 の対象からは外れる．手元の電力 $𝑃$ を二つの取り分に割ったとき， $Φ$ の値は半分ずつに割るほうが大きい．同じ電力なら，一方に寄せるより薄く広げるほうが $Φ$ を大きくする，ということである．二つの取り分に割った合計がそのまま運べる量になるかどうかは本節では示さないので，例 8.2.6 は $Φ$ という一つの式の値のくらべ方にとどめてある．この形の問いは 8.6 節でふたたび現れる．そこでは雑音の分散が経路ごとに違うので，どう分けるのが最適かという問いになり，答えが注水と呼ばれる形をとる．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．