8.1 ガウス通信路

第6章の通信路は，入力も出力も有限個の記号だった．遷移確率 $𝑊 (𝑦 ∣ 𝑥)$ を並べた表がその全体で，容量は有限個の数の上での最大化問題だった．しかし実際に信号を運ぶ物理的な経路は，電圧や電磁波の振幅といった実数を運ぶ．そこに乗る雑音も実数値で，しかも多くの小さな擾乱が重なった結果として生じる．本章が扱うのは，出力が入力にそういう雑音を足したものになる通信路であり，雑音の分布はガウス分布にとる．理由は二つある．一つはいま述べた成り立ちで，多くの小さな擾乱の和がガウス分布に近づくことは中心極限定理として知られている．もう一つは，散らばりの大きさを固定すると微分エントロピーが上から抑えられるという第7章定理 7.2.4 の性質が，8.2 節で容量の上界を与えるところまでそのまま効くことである．

第7章で作った量は，そのまま当てられる．出力の散らばりの広さを微分エントロピー $ℎ (𝑌)$ で測り，入力を知ってもなお残る散らばりを差し引けば，通信路が運んだ情報になる．第6章命題 6.1.3 の $𝐼 (𝑝; 𝑊) = 𝐻 (𝑌) - 𝐻 (𝑌 ∣ 𝑋)$ という読み方が， $𝐻$ を $ℎ$ に取り替えてそのまま生きる．ただし差し引くべき量，すなわち条件付き微分エントロピーは，第7章が用意しなかった．本節はまずそれを定義し，ガウス通信路ではその値が入力によらない定数になることを見る．

本章では $l o g$ の底を $2$ にとる．8.3 節以降で $2 𝑛 𝑅$ の形の量を扱うので，第6章と同じく指数と対数の底をそろえておくと式が読みやすい．第7章の等式・不等式は底を $1$ より大きくとるかぎりそのまま成り立つ（7.1 節）ので，底を決めても引き継ぎに支障はない．

記号を二つ断っておく． $𝑃$ は本章を通じて信号の電力を表す実数である．第3章は同じ字で遷移確率を，第10章は分布を表しており，どちらも裸の $𝑃$ を書くので，引数の形では見分けられない．電力を $𝑃$ と書くのはこの分野の標準なので改名しない．本章に現れる裸の $𝑃$ はつねに電力である．添字の付いた $𝑃 𝑒$ 系（定義 8.3.1）は誤り確率を， $𝑃 𝑖$ 系（8.6 節）は各通信路に配る電力を表す． $𝑁$ は雑音の分散を表す実数で，こちらは第2章の個数 $𝑁 (𝑎 ∣ 𝑥)$ や第4章の個数 $𝑁 (𝑚)$ と違って引数をとらない．

通信路の定義

定義 8.1.1（ガウス通信路）. $𝑁 > 0$ とする．ガウス通信路 とは，入力 $𝑥 \in ℝ$ に対して出力の分布を $N (𝑥, 𝑁)$ （定義 7.2.1）と定める対応である． $𝑁$ をこの通信路の 雑音の分散 と呼ぶ．長さ $𝑛 \geq 1$ の入力 $𝑥 𝑛 = (𝑥 0, \dots, 𝑥 𝑛 - 1) \in ℝ 𝑛$ に対する出力 $𝑦 𝑛 \in ℝ 𝑛$ の結合密度は

𝑛 - 1 \prod 𝑖 = 0 𝑔 𝑥 𝑖, 𝑁 (𝑦 𝑖)

とする（ $𝑔$ は定義 7.2.1 の記号）．入力に密度 $𝑓$ をもつ実数値確率変数 $𝑋$ を与えたとき，入力と出力の対 $(𝑋, 𝑌)$ の 結合密度 を

𝑓 (𝑥) 𝑔 𝑥, 𝑁 (𝑦) ((𝑥, 𝑦) \in ℝ 2)

と定め，この $𝑌$ を出力と呼ぶ．出力から入力を引いた $𝑍 : = 𝑌 - 𝑋$ を雑音と呼び，入力と出力の関係を

𝑌 = 𝑋 + 𝑍

と書く．

定義 7.2.1 の密度を書き下すと $𝑔 𝑥, 𝑁 (𝑦) = 𝑔 0, 𝑁 (𝑦 - 𝑥)$ である．すなわち，入力 $𝑥$ を送ったときの出力の分布は，平均 $0$ 分散 $𝑁$ のガウス分布を $𝑥$ だけ平行移動したものにほかならない．ここでの $𝑥$ は，定義 8.1.1 が通信路への入力として固定した一つの実数であって，確率変数 $𝑋$ を観測して得た値ではない．したがってこの読み下しは，確率 $0$ の事象で条件付けることを含まない（その条件付けを本書がどう避けるかは，次に条件付き微分エントロピーを定義するところで述べる）．雑音の側で読むと，実数 $𝑥$ を入れたときの $𝑍 = 𝑌 - 𝑥$ の密度は $𝑧 \mapsto 𝑔 𝑥, 𝑁 (𝑧 + 𝑥) = 𝑔 0, 𝑁 (𝑧)$ で， $𝑥$ を含まない． $𝑌 = 𝑋 + 𝑍$ という式そのものは $𝑍 : = 𝑌 - 𝑋$ を移項しただけのもので，それだけでは何も言っていない．内容があるのは，どの入力を選んでも雑音の分布が $N (0, 𝑁)$ のままで，出力はそこへ入力を足しただけのものになる，といういま見たことのほうである．8.3 節と 8.4 節で符号を扱うときも，長さ $𝑛$ の符号語に対する出力はその符号語に雑音の列を足したものになる．長さ $𝑛$ の入力に対する結合密度を積の形にとったのは，各時刻の雑音がほかの時刻の入出力に依存しないということで，定義 6.1.1 が積の形で書いた記憶のなさと同じ条件である．入力と出力の対の結合密度を $𝑓 (𝑥) 𝑔 𝑥, 𝑁 (𝑦)$ と定めたのも，定義 6.1.1 が結合分布を $𝑝 (𝑥) 𝑊 (𝑦 ∣ 𝑥)$ と定めたのと同じ形である．

形式化: awgnChannel (ソース)

形式化上の注記. 形式化の awgnChannel は，入力 $𝑥$ に平均 $𝑥$ 分散 $𝑁$ のガウス分布を返す核であり，定義 8.1.1 の $1$ 回の使用の部分にあたる．長さ $𝑛$ への延長は，一般の核を成分ごとの積測度に延ばす Channel.toBlock (InformationTheory/Shannon/BlockwiseChannel/Definition.lean) と，成分ごとに雑音の分散を変えられる parallelGaussianChannel (InformationTheory/Shannon/ParallelGaussian/Basic.lean) の二つが与える．ただしガウス通信路の符号を扱う段では，そのどちらも経由せず，誤り確率を定める errorProbAt (InformationTheory/Shannon/ChannelCoding/Basic.lean) の中で積測度が直に組まれる．入力と出力の対の結合密度にあたる部分も，形式化では密度ではなく，入力の分布と核から合成される結合分布として扱われる．

入力に何の制限も置かなければ何が起きるかを，見当として見ておく．出力の散らばりを抑えているのは雑音だけなので，入力の振れ幅を大きくとれば，離れた二つの入力は出力を見るだけで区別がつくようになる．二つに限らない．雑音の散らばりにくらべて十分に離れた点を $𝑀$ 個並べれば，どの点を送ったかがほぼ確実に読み取れて $l o g 𝑀$ ビットが運べ， $𝑀$ はいくらでも大きくとれる．ここまでは見当であって，メッセージがその個数だけ区別できることを示したわけではない．入力に制限を置く理由としてはこれで足りるので，そこで送る信号の電力を抑える． $𝔼 [𝑋 2]$ を電力と呼ぶのは， $𝑥$ が電圧や電流の振幅を表すとき，単位時間あたりに消費されるエネルギーが $𝑥 2$ に比例するからである． $1$ 回の使用については入力の $2$ 乗の平均 $𝔼 [𝑋 2]$ を $𝑃$ 以下にすること，長さ $𝑛$ のブロックについては各符号語の $2$ 乗和を $𝑛 𝑃$ 以下にすることが，本章で置く制約である（前者を 8.2 節，後者を 8.3 節で使う）．どちらも「 $1$ 回の使用あたりに使える電力が $𝑃$ まで」という同じ制限を，一つの確率変数と一本の符号語のそれぞれについて書いたものである．

条件付き微分エントロピー

第7章 7.4 節は，条件付き微分エントロピーを用意しなかった．その定義に $𝑋 = 𝑥$ を知ったときの $𝑌$ の密度が要り，条件付ける相手が確率 $0$ の事象になるからである．差の形で書けば，この困難を通らずに定義できる．離散のときの $𝐻 (𝑌 ∣ 𝑋) = 𝐻 (𝑋, 𝑌) - 𝐻 (𝑋)$ （定理 1.2.3 のチェイン則）を，そのまま定義に据えればよい．

定義 8.1.2（条件付き微分エントロピー）. $𝑋$ と $𝑌$ を実数値確率変数とし， $(𝑋, 𝑌)$ が結合密度をもつとする． $ℎ (𝑋, 𝑌)$ と $ℎ (𝑋)$ がどちらも定まるとき， $𝑋$ を与えたときの $𝑌$ の 条件付き微分エントロピー を

ℎ (𝑌 ∣ 𝑋) : = ℎ (𝑋, 𝑌) - ℎ (𝑋)

で定め，このとき $ℎ (𝑌 ∣ 𝑋)$ が 定まる という．

定義 8.1.2 が測っているのは，二つをまとめて見たときの散らばりから， $𝑋$ だけを見たときの散らばりを差し引いた残りである． $𝑋$ を知ったあとに $𝑌$ に残る散らばり，と読める． $ℎ$ が負になりうる（例 7.1.3）ので， $ℎ (𝑌 ∣ 𝑋)$ も負になりうる．定義 8.1.2 が要求しているのは対が結合密度をもつことである．8.3 節で符号を扱うときはこの前提が満たされないことを見るので，そこでは別の形の道具を使う．

形式化上の注記. 形式化には condDifferentialEntropy (InformationTheory/Shannon/EPI/G2/ConvEntropyMonotone.lean) があるが，定義 8.1.2 とは形が違う．あちらは条件付き分布を測度論の道具（condDistrib）で取り出し，その微分エントロピーを条件の分布で平均したもので，本文が避けた「 $𝑋 = 𝑥$ を知ったときの $𝑌$ の分布」を正面から使っている．しかも平均をとる積分は，被積分関数が可積分でないときに $0$ を返す約束のものである．二つが等しいことを述べる宣言は在庫にないから，同じ値になると無条件には言えない．

命題 8.1.3. $𝑋$ と $𝑌$ を実数値確率変数とし， $(𝑋, 𝑌)$ が結合密度をもつとする． $ℎ (𝑋, 𝑌)$ ， $ℎ (𝑋)$ ， $ℎ (𝑌)$ がいずれも定まるならば， $ℎ (𝑌 ∣ 𝑋)$ と $𝐼 (𝑋; 𝑌)$ は定まり

𝐼 (𝑋; 𝑌) = ℎ (𝑌) - ℎ (𝑌 ∣ 𝑋) \geq 0

である．

証明. 仮定より定義 8.1.2 の条件が満たされ， $ℎ (𝑌 ∣ 𝑋) = ℎ (𝑋, 𝑌) - ℎ (𝑋)$ が定まる．同じ仮定は定理 7.5.6 の仮定でもあるから， $𝐼 (𝑋; 𝑌)$ は定まって $𝐼 (𝑋; 𝑌) = ℎ (𝑋) + ℎ (𝑌) - ℎ (𝑋, 𝑌) \geq 0$ である．右辺の $ℎ (𝑋) - ℎ (𝑋, 𝑌)$ は $- ℎ (𝑌 ∣ 𝑋)$ にほかならない． $◼$

形式化上の注記. 命題 8.1.3 にあたる単独の宣言はない．differentialEntropy_sub_condDifferentialEntropy_eq_toReal_klDiv (InformationTheory/Shannon/EPI/G2/ConvEntropyMonotone.lean) が同じ形の等式を与えるが，そこで差し引かれているのは condDifferentialEntropy，すなわち条件付き分布を測度論の道具で取り出して平均した量であり，本文の定義 8.1.2 とは対象が違う．

命題 8.1.3 は，第6章命題 6.1.3 の $𝐼 (𝑝; 𝑊) = 𝐻 (𝑌) - 𝐻 (𝑌 ∣ 𝑋)$ を微分エントロピーで書き直したものである．読み方も同じで，運べた情報とは出力の散らばりから雑音の分を差し引いた残りである．離散のときと違うのは， $ℎ (𝑌)$ も $ℎ (𝑌 ∣ 𝑋)$ もそれ単独では散らばりの大きさとして読めない（7.1 節）ことで，読めるのは差のほうだけである．

雑音の分は入力によらない

ガウス通信路では，差し引くべき $ℎ (𝑌 ∣ 𝑋)$ が入力によらない一つの定数になる．雑音の分布が入力によって平行移動するだけで，形が変わらないからである．

証明のために道具を二つ借りる．一つめは 累次積分 で， $𝑘 \geq 2$ として $ℝ 𝑘$ の座標を二つの組に分けるとき， $ℝ 𝑘$ 上の実数値関数 $𝑢$ が非負であるか $\int ℝ 𝑘 | 𝑢 | < \infty$ であるならば， $ℝ 𝑘$ 全体での積分は，片方の組について先に積分してからもう片方の組について積分したものに等しく， $𝑢$ が非負のときは両辺が同時に $+ \infty$ になることを許す，という積分の事実である． $𝑘 = 2$ で書けば

\int ℝ 2 𝑢 (𝑥, 𝑦) 𝑑 𝑥 𝑑 𝑦 = \int ℝ (\int ℝ 𝑢 (𝑥, 𝑦) 𝑑 𝑦) 𝑑 𝑥

である．当てる対象は，定義 8.1.1 の結合密度 $𝑓 (𝑥) 𝑔 𝑥, 𝑁 (𝑦)$ に対数や $2$ 次以下の多項式を掛けた関数と，その絶対値と，8.3 節に現れるガウス密度の積と，8.4 節に現れる立方体の上の定数関数である．依存するのは命題 8.1.4 と，8.2 節の定理 8.2.2 と，8.3 節の補題 8.3.3 と，8.4 節の命題 8.4.1 の証明である．二つめは学部の確率で扱う ガウス分布の畳み込み で， $𝜎 21, 𝜎 22 > 0$ と実数 $𝜇$ について，どの実数 $𝑦$ に対しても

\int ℝ 𝑔 𝜇, 𝜎 21 (𝑥) 𝑔 𝑥, 𝜎 22 (𝑦) 𝑑 𝑥 = 𝑔 𝜇, 𝜎 21 + 𝜎 22 (𝑦)

が成り立つ，という事実である（独立なガウス分布に従う二つの確率変数の和がふたたびガウス分布に従い，分散が足し算になることの，密度による言い換えである）．当てる対象は定義 7.2.1 のガウス密度だけで，依存するのは例 8.1.6 の証明と，同じ事実を 9.4 節で借り直している第9章の命題 9.4.4・命題 9.4.6 の証明と，9.4 節の宣言を確率変数の形のまま引き直している第16章の例 16.7.9・命題 16.8.1 の証明である．ただしあちらが借りるのは確率変数の形で，和だけでなく差についても同じことをあわせて借りるので，借りる形は 9.4 節の宣言のほうが広い．第16章が引くのは和についてだけなので，そのぶんは 9.4 節より狭い．

命題 8.1.4. $𝑁 > 0$ とし，密度 $𝑓$ をもつ実数値確率変数 $𝑋$ をガウス通信路（定義 8.1.1）に与えて出力 $𝑌$ を得るとする． $ℎ (𝑋)$ が定まるならば $ℎ (𝑋, 𝑌)$ と $ℎ (𝑌 ∣ 𝑋)$ は定まり

ℎ (𝑋, 𝑌) = ℎ (𝑋) + 12 l o g (2 𝜋 𝑒 𝑁), ℎ (𝑌 ∣ 𝑋) = 12 l o g (2 𝜋 𝑒 𝑁)

である．

証明. 筋は $2$ 行で書ける．結合密度の対数が $l o g 𝑓 (𝑥)$ と $l o g 𝑔 𝑥, 𝑁 (𝑦)$ の和に分かれ，第 $2$ 項の積分が $𝑥$ によらない，というだけである．以下は，その計算が許されることを確かめながら進める．

定義 8.1.1 より $(𝑋, 𝑌)$ の結合密度は $𝐹 (𝑥, 𝑦) : = 𝑓 (𝑥) 𝑔 𝑥, 𝑁 (𝑦)$ である．これが $ℝ 2$ 上の密度であることを見る．非負であり，借りた累次積分と，7.2 節で借りたガウス分布の基本性質から得られる $\int ℝ 𝑔 𝑥, 𝑁 (𝑦) 𝑑 𝑦 = 1$ により

\int ℝ 2 𝐹 (𝑥, 𝑦) 𝑑 𝑥 𝑑 𝑦 = \int ℝ 𝑓 (𝑥) (\int ℝ 𝑔 𝑥, 𝑁 (𝑦) 𝑑 𝑦) 𝑑 𝑥 = \int ℝ 𝑓 (𝑥) 𝑑 𝑥 = 1

だからである．

対数を二つに分ける． $𝐹 (𝑥, 𝑦) > 0$ の点では $𝑓 (𝑥) > 0$ であり， $𝑔 𝑥, 𝑁 (𝑦)$ は実軸のすべての点で正だから，そこで $l o g 𝐹 (𝑥, 𝑦) = l o g 𝑓 (𝑥) + l o g 𝑔 𝑥, 𝑁 (𝑦)$ である． $𝐹 (𝑥, 𝑦) = 0$ の点では定義 7.1.2 の約束により $𝐹 l o g 𝐹 = 0$ である．

第 $2$ の項の積分が入力によらないことを見る．定理 7.2.2 を $N (𝑥, 𝑁)$ に当てると， $\int ℝ | 𝑔 𝑥, 𝑁 l o g 𝑔 𝑥, 𝑁 |$ は有限であり

- \int ℝ 𝑔 𝑥, 𝑁 (𝑦) l o g 𝑔 𝑥, 𝑁 (𝑦) 𝑑 𝑦 = 12 l o g (2 𝜋 𝑒 𝑁)

である．右辺は $𝑥$ を含まない．また 7.3 節で借りた置換積分を $𝑢 = 𝑦 - 𝑥$ （ $𝑐 = 1$ ， $𝑏 = 𝑥$ ）という置き換えで使うと， $𝑔 𝑥, 𝑁 (𝑦) = 𝑔 0, 𝑁 (𝑦 - 𝑥)$ だから

\int ℝ 𝑔 𝑥, 𝑁 (𝑦) ∣ l o g 𝑔 𝑥, 𝑁 (𝑦) ∣ 𝑑 𝑦 = \int ℝ 𝑔 0, 𝑁 (𝑢) ∣ l o g 𝑔 0, 𝑁 (𝑢) ∣ 𝑑 𝑢 = : 𝐴

であり，この $𝐴$ も $𝑥$ によらない有限の値である．

\int ℝ 2 ∣ 𝐹 l o g 𝐹 ∣ \leq \int ℝ 𝑓 (𝑥) ∣ l o g 𝑓 (𝑥) ∣ (\int ℝ 𝑔 𝑥, 𝑁 (𝑦) 𝑑 𝑦) 𝑑 𝑥 + \int ℝ 𝑓 (𝑥) (\int ℝ 𝑔 𝑥, 𝑁 (𝑦) ∣ l o g 𝑔 𝑥, 𝑁 (𝑦) ∣ 𝑑 𝑦) 𝑑 𝑥

を得る．右辺の第 $1$ 項は $\int ℝ | 𝑓 l o g 𝑓 |$ で， $ℎ (𝑋)$ が定まることから有限，第 $2$ 項は $𝐴 \int 𝑓 = 𝐴$ で有限である．よって $ℎ (𝑋, 𝑌)$ は定まる．

値を求める．いま見たとおり積分は絶対収束するから，借りた累次積分を $𝐹 l o g 𝐹$ に当てて二つの項に分けてよく

- ℎ (𝑋, 𝑌) = \int ℝ 𝑓 (𝑥) l o g 𝑓 (𝑥) (\int ℝ 𝑔 𝑥, 𝑁 (𝑦) 𝑑 𝑦) 𝑑 𝑥 + \int ℝ 𝑓 (𝑥) (\int ℝ 𝑔 𝑥, 𝑁 (𝑦) l o g 𝑔 𝑥, 𝑁 (𝑦) 𝑑 𝑦) 𝑑 𝑥

である．第 $1$ 項は $\int 𝑓 l o g 𝑓 = - ℎ (𝑋)$ に等しく，第 $2$ 項は上で見た値により $- 12 l o g (2 𝜋 𝑒 𝑁) \int 𝑓 = - 12 l o g (2 𝜋 𝑒 𝑁)$ に等しい．符号を戻すと $ℎ (𝑋, 𝑌) = ℎ (𝑋) + 12 l o g (2 𝜋 𝑒 𝑁)$ である．最後に定義 8.1.2 を当てると $ℎ (𝑌 ∣ 𝑋) = ℎ (𝑋, 𝑌) - ℎ (𝑋) = 12 l o g (2 𝜋 𝑒 𝑁)$ を得る． $◼$

形式化上の注記. 命題 8.1.4 の第 $2$ の等式にあたる内容は，形式化では入力を一つ固定した形で述べられている．differentialEntropy_awgnChannel_apply_eq_noise (InformationTheory/Shannon/AWGN/MIBridge.lean) が，入力 $𝑥$ に対する出力の分布の微分エントロピーが雑音の分布のそれに等しいことを， $𝑥$ によらず与える．それを入力の分布で平均した形が awgn_cond_entropy_eq_noise_entropy_of_const (InformationTheory/Shannon/AWGN/MIBridge.lean) で，こちらは入力をガウス分布にとった場合の宣言である．入力の分布に条件を置かない形の宣言も在庫にあり，condDifferentialEntropy_indep_add_eq (InformationTheory/Shannon/EPI/G2/ConvEntropyMonotone.lean) が，独立な二つの実数値確率変数の和について，一方で条件付けた微分エントロピーが他方の微分エントロピーに等しいことを与える．雑音を和の第 $1$ 項，入力を第 $2$ 項，係数を $1$ にとれば，命題 8.1.4 の第 $2$ の等式にあたる内容になる．いずれも条件付き微分エントロピーを入力ごとの微分エントロピーの平均として書いており，結合と周辺の差で定めた定義 8.1.2 とは対象が違う．第 $1$ の等式にあたる宣言は在庫にない．

系 8.1.5. $𝑁 > 0$ とし，密度をもつ実数値確率変数 $𝑋$ をガウス通信路（定義 8.1.1）に与えて出力 $𝑌$ を得るとする． $ℎ (𝑋)$ と $ℎ (𝑌)$ がどちらも定まるならば， $𝐼 (𝑋; 𝑌)$ は定まり

𝐼 (𝑋; 𝑌) = ℎ (𝑌) - 12 l o g (2 𝜋 𝑒 𝑁)

である．

証明. 命題 8.1.4 より $ℎ (𝑋, 𝑌)$ が定まるから，命題 8.1.3 の仮定がすべて満たされ， $𝐼 (𝑋; 𝑌) = ℎ (𝑌) - ℎ (𝑌 ∣ 𝑋)$ である．命題 8.1.4 の第 $2$ の等式でその第 $2$ 項を置き換えればよい． $◼$

系 8.1.5 が本章のこれ以降を動かす．運べる情報を大きくしたければ， $ℎ (𝑌)$ を大きくするほかに手はない．差し引かれる量は通信路の雑音だけで決まっていて，入力の選び方では動かないからである．そして $ℎ (𝑌)$ をどこまで大きくできるかは，第7章がすでに答えている．出力の分散が抑えられているかぎり微分エントロピーには上限があり（定理 7.2.4），その上限をガウス分布が達成する（系 7.2.5）．電力制約が出力の分散を抑え，最大エントロピー性が上限を与える，という二段構えが 8.2 節の内容である．

例 8.1.6（ガウス入力）. $𝑁 > 0$ ， $𝑃 > 0$ とし， $𝑋$ が $N (0, 𝑃)$ に従うとしてガウス通信路（定義 8.1.1）に与え，出力 $𝑌$ を得るとする．このとき $𝑌$ は $N (0, 𝑃 + 𝑁)$ に従い， $𝐼 (𝑋; 𝑌)$ は定まって

𝐼 (𝑋; 𝑌) = 12 l o g (1 + 𝑃 𝑁)

である．

証明. $𝑋$ の密度は $𝑔 0, 𝑃$ だから，定義 8.1.1 より $(𝑋, 𝑌)$ の結合密度は $𝑔 0, 𝑃 (𝑥) 𝑔 𝑥, 𝑁 (𝑦)$ である．7.4 節で借りた周辺密度の存在により，その第 $2$ 周辺密度（定義 7.4.1）は $𝑌$ の密度であり，借りたガウス分布の畳み込みによりそれは

\int ℝ 𝑔 0, 𝑃 (𝑥) 𝑔 𝑥, 𝑁 (𝑦) 𝑑 𝑥 = 𝑔 0, 𝑃 + 𝑁 (𝑦)

である．よって $𝑌$ は $N (0, 𝑃 + 𝑁)$ に従う．

定理 7.2.2 より $ℎ (𝑋)$ と $ℎ (𝑌)$ は定まって $ℎ (𝑋) = 12 l o g (2 𝜋 𝑒 𝑃)$ ， $ℎ (𝑌) = 12 l o g (2 𝜋 𝑒 (𝑃 + 𝑁))$ である．系 8.1.5 より

𝐼 (𝑋; 𝑌) = 12 l o g (2 𝜋 𝑒 (𝑃 + 𝑁)) - 12 l o g (2 𝜋 𝑒 𝑁) = 12 l o g 𝑃 + 𝑁 𝑁

であり，右辺は $12 l o g (1 + 𝑃 / 𝑁)$ である． $◼$

形式化上の注記. 例 8.1.6 にあたる内容は形式化されているが，相互情報量が本文と別の量である．mutualInfoOfChannel_gaussianInput_closed_form' (InformationTheory/Shannon/AWGN/MIClosedForm.lean) が，ガウス入力に対する相互情報量が $12 l o g (1 + 𝑃 / 𝑁)$ に等しいことを， $𝑃 > 0$ と $𝑁 \neq 0$ のもとで与える（通信路の核が可測であるという正則性の前提も付くが，これは別の宣言で解消される）．出力がふたたびガウス分布になることは，核と入力の合成が畳み込みに等しいという isAwgnBindEqConv (InformationTheory/Shannon/AWGN/BindConvolution.lean) と，そこから出力の分布を読む awgn_output_gaussian_of_bind_eq_conv (InformationTheory/Shannon/AWGN/MutualInfoBridge.lean) の合成で得られる．ただしそこでの相互情報量は，通信路の核と入力の分布から測度論の言葉で組み立てたもので，定義 7.5.4 の密度で書いた相互情報量とは別の量である．

幅で読む. 例 8.1.6 の値は， $2 ℎ$ をその分布の実効的な幅と読む物差し（7.1 節）を当てると読み下せる．底が $2$ なので，出力の実効的な幅は $2 ℎ (𝑌) = \sqrt 2 𝜋 𝑒 (𝑃 + 𝑁)$ であり，入力を知ったあとに残る散らばりの幅は $2 ℎ (𝑌 ∣ 𝑋) = \sqrt 2 𝜋 𝑒 𝑁$ である．系 8.1.5 の右辺はこの二つの幅の比の対数にほかならず，比は $\sqrt (𝑃 + 𝑁) / 𝑁 = \sqrt 1 + 𝑃 / 𝑁$ である．平方根が $12$ を，二つの分散の比が「 $1 +$ 」を出している．測っているのは雑音の幅の中に信号の幅がいくつ入るかではなく，出力全体の幅が雑音の幅の何倍かなので，電力を $0$ に近づければ比は $1$ に近づき，運べる量も $0$ に近づく．同じ比の読み方が 8.4 節でもういちど，こんどは体積の比として現れる．

比で決まる. 例 8.1.6 の値は $𝑃$ と $𝑁$ の比だけで決まっていて，電力と雑音を同じ倍率で大きくしても変わらない．この比 $𝑃 / 𝑁$ を 信号対雑音比 と呼ぶ．目盛を取り替えても相互情報量が動かないこと（系 7.5.7）が，ここに具体的な形で現れている．入力も雑音も同じ倍率 $𝑐$ で引き伸ばせば， $ℎ (𝑌)$ は $l o g | 𝑐 |$ だけ増える（系 7.3.4）が，雑音の分散が $𝑐 2 𝑁$ になるので差し引く $ℎ (𝑌 ∣ 𝑋) = 12 l o g (2 𝜋 𝑒 𝑁)$ も同じだけ増え，系 8.1.5 の差は動かない．

規模感. 底を $2$ にとって $𝑃 / 𝑁 = 1$ なら $𝐼 (𝑋; 𝑌) = 12 l o g 2 2 = 0.5$ ビット， $𝑃 / 𝑁 = 3$ なら $1$ ビット， $𝑃 / 𝑁 = 10$ なら約 $1.7297$ ビット， $𝑃 / 𝑁 = 100$ なら約 $3.3291$ ビットである．信号対雑音比を $10$ 倍にしても運べる量が $10$ 倍になるわけではなく，増えるのは高々 $12 l o g 2 10 = 1.6610$ ビットである（ $𝑃 / 𝑁 = 1$ から $10$ で $1.2297$ ビット， $10$ から $100$ で $1.5994$ ビットの増加であり，比が大きいほどこの値に近づく）．比の対数で効くので，効くのは掛け算ではなく足し算のほうである．第6章の二元対称通信路が反転確率 $0.1$ で約 $0.531$ ビットだった（例 6.1.8）のと並べると，信号対雑音比 $1$ のガウス通信路がおよそそれと同じくらいの通信路にあたる．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．