1.5 エントロピー・相互情報量のチェイン則

1.2 節のチェイン則は変数 2 個の話だった．実際の情報源や通信路は多数の変数 $𝑋 1, 𝑋 2, \dots, 𝑋 𝑛$ を扱う．それらが一つの $𝑌$ について持つ情報を，変数を一つずつ積み上げる形で分解できると，長いブロックの解析が「1 文字ずつの寄与の足し算」に還元できて非常に便利である．前節で用意した条件付き相互情報量が，その「1 個ずつの増分」を測る道具になる．これがチェイン則の一般化の動機であり，後の通信路容量（第6章）の議論を支える土台になる．

相互情報量のチェイン則（1 個追加）

定理 1.5.1.

𝐼 (𝑍, 𝑋; 𝑌) = 𝐼 (𝑍; 𝑌) + 𝐼 (𝑋; 𝑌 ∣ 𝑍) .

「対 $(𝑍, 𝑋)$ が $𝑌$ について持つ情報は，まず $𝑍$ が $𝑌$ について持つ情報，次に $𝑍$ を知ったうえで $𝑋$ が $𝑌$ について追加で持つ情報，の和」と読む．右辺第 2 項は前節の条件付き相互情報量 $𝐼 (𝑋; 𝑌 ∣ 𝑍)$ （定義 1.4.1）である．

これはエントロピーのチェイン則（定理 1.2.3）とまったく同じ「順番に数える」構図である． $𝑌$ について知りたい人が，まず $𝑍$ を受け取り，次に $𝑋$ を受け取る． $𝑍$ から得た分が $𝐼 (𝑍; 𝑌)$ ， $𝑋$ から追加で得た分が $𝐼 (𝑋; 𝑌 ∣ 𝑍)$ で，合計が二つまとめて受け取ったときの $𝐼 (𝑍, 𝑋; 𝑌)$ に等しい．「追加で」の部分が条件付き相互情報量になるのが要点で， $𝐼 (𝑋; 𝑌)$ を足すのではない（ $𝑍$ から得た情報と重複してしまう）．前節の注意で見たとおり $𝐼 (𝑋; 𝑌 ∣ 𝑍)$ は $𝐼 (𝑋; 𝑌)$ より大きいことも小さいこともあるので，この差は本質的である．

証明. 定理 1.3.4 のエントロピー表現を対 $(𝑍, 𝑋)$ に適用すると

𝐼 (𝑍, 𝑋; 𝑌) = 𝐻 (𝑍, 𝑋) - 𝐻 (𝑍, 𝑋 ∣ 𝑌) .

右辺の各項にチェイン則を当てる．無条件版は定理 1.2.3 で $𝐻 (𝑍, 𝑋) = 𝐻 (𝑍) + 𝐻 (𝑋 ∣ 𝑍)$ ，条件付き版は補題 1.2.5 で

𝐻 (𝑍, 𝑋 ∣ 𝑌) = 𝐻 (𝑍 ∣ 𝑌) + 𝐻 (𝑋 ∣ 𝑍, 𝑌) .

二式を代入して項を $𝑍$ 由来と $𝑋$ 由来に組み替えると

𝐼 (𝑍, 𝑋; 𝑌) = (𝐻 (𝑍) - 𝐻 (𝑍 ∣ 𝑌)) ⏟____⏟____⏟ = 𝐼 (𝑍; 𝑌) + (𝐻 (𝑋 ∣ 𝑍) - 𝐻 (𝑋 ∣ 𝑍, 𝑌)) ⏟_____⏟_____⏟ = 𝐼 (𝑋; 𝑌 ∣ 𝑍) .

第 1 のかっこは定理 1.3.4 そのもので $𝐼 (𝑍; 𝑌)$ ．第 2 のかっこは条件付き相互情報量のエントロピー表現（定理 1.4.3）で $𝐼 (𝑋; 𝑌 ∣ 𝑍)$ ．合わせて主張を得る． $◼$

形式化: mutualInfo_chain_rule (ソース)

$𝑛$ 変数版

定理 1.5.1 を繰り返し適用すると， $𝑛$ 個の変数列に対する完全形が得られる．

定理 1.5.2（ $𝑛$ 変数チェイン則）.

𝐼 (𝑋 0, \dots, 𝑋 𝑛 - 1; 𝑌) = 𝑛 - 1 \sum 𝑖 = 0 𝐼 (𝑋 𝑖; 𝑌 ∣ 𝑋 0, \dots, 𝑋 𝑖 - 1) .

各項は「先頭 $𝑖$ 個をすでに知ったうえで， $𝑋 𝑖$ が $𝑌$ について追加で与える情報」である．全体の情報量が，変数を 1 個ずつ足したときの増分の総和に等しい，という分解になっている．

証明（ $𝑛$ についての帰納法）. $𝑛 = 1$ のとき，右辺は $𝑖 = 0$ の項だけで条件が空だから，両辺とも $𝐼 (𝑋 0; 𝑌)$ である． $𝑛$ で成り立つとして $𝑛 + 1$ 個の場合を見る．定理 1.5.1 を $𝑍 \leftarrow (𝑋 0, \dots, 𝑋 𝑛 - 1)$ ， $𝑋 \leftarrow 𝑋 𝑛$ として適用すると

𝐼 (𝑋 0, \dots, 𝑋 𝑛; 𝑌) = 𝐼 (𝑋 0, \dots, 𝑋 𝑛 - 1; 𝑌) + 𝐼 (𝑋 𝑛; 𝑌 ∣ 𝑋 0, \dots, 𝑋 𝑛 - 1) .

第 1 項に帰納法の仮定を当てると $\sum 𝑛 - 1 𝑖 = 0 𝐼 (𝑋 𝑖; 𝑌 ∣ 𝑋 0, \dots, 𝑋 𝑖 - 1)$ になり，第 2 項はちょうど $𝑖 = 𝑛$ の項である．合わせて主張を得る． $◼$

証明が言っているのは， $𝑋 0$ を受け取り，次に $𝑋 1$ を受け取り，…と順に足していくと，各段階の増分がちょうど，先頭の変数たちで条件付けた項になる，ということである．重要なのは，増分の和は受け取る順序を変えても総和が同じ（左辺は順序に依らない）という点である．個々の項は順序で変わるが，合計は変わらない．

長さ $𝑛$ のブロックを扱うとき，この分解があると「ブロック全体の情報量」という扱いにくい量を「1 文字ずつの寄与の足し算」に落とせる．第6章の通信路容量の議論は，ほぼこの一手で回っている．

形式化: mutualInfo_chain_rule_fin (ソース)．Fin n 添字の確率変数列に対する完全形．右辺は各 $𝑖$ において先頭 $𝑖$ 個で条件付けた相互情報量の有限和である．

独立・同分布（i.i.d.）での加法性

実用上もっとも重要な特別な場合は， $𝑛$ 組の同分布な独立ペア $(𝑋 0, 𝑌 0), \dots, (𝑋 𝑛 - 1, 𝑌 𝑛 - 1)$ である．以下 $𝑋 𝑛 : = (𝑋 0, \dots, 𝑋 𝑛 - 1)$ ， $𝑌 𝑛 : = (𝑌 0, \dots, 𝑌 𝑛 - 1)$ と書く．定理 1.5.2 の各項から条件が落ちて，和が $𝑛$ 個の同じ項の足し算になる．

定理 1.5.3（i.i.d. 加法性）. $𝑛$ 組のペア $(𝑋 0, 𝑌 0), \dots, (𝑋 𝑛 - 1, 𝑌 𝑛 - 1)$ が互いに独立で，どれも同じ同時分布に従うとする． $𝑋 𝑛 : = (𝑋 0, \dots, 𝑋 𝑛 - 1)$ ， $𝑌 𝑛 : = (𝑌 0, \dots, 𝑌 𝑛 - 1)$ と書くと

𝐼 (𝑋 𝑛; 𝑌 𝑛) = 𝑛 𝐼 (𝑋 0; 𝑌 0) .

証明. 定理 1.5.2 を $𝑌 \leftarrow 𝑌 𝑛$ として使うと

𝐼 (𝑋 𝑛; 𝑌 𝑛) = 𝑛 - 1 \sum 𝑖 = 0 𝐼 (𝑋 𝑖; 𝑌 𝑛 ∣ 𝑋 𝑖)

である．第 $𝑖$ 項を， $𝑌 𝑛$ を $𝑌 𝑖$ とそれ以外 $𝑅 𝑖 : = (𝑌 𝑗) 𝑗 \neq 𝑖$ に分けて見る．定理 1.5.1 は第 1 引数を分割する形だったが， $𝐼$ は同時分布だけで決まる（1.3 節）ので対称性（命題 1.3.3・命題 1.4.2）により第 2 引数についても同じ分解が使える．それを $𝑋 𝑖$ を知ったうえで適用する．定理 1.5.1 の証明と同じく， $𝑋 𝑖 = 𝑥$ ごとに適用して $𝑥$ で平均すればよい．すると

𝐼 (𝑋 𝑖; 𝑌 𝑛 ∣ 𝑋 𝑖) = 𝐼 (𝑋 𝑖; 𝑌 𝑖 ∣ 𝑋 𝑖) + 𝐼 (𝑋 𝑖; 𝑅 𝑖 ∣ 𝑋 𝑖, 𝑌 𝑖) .

ペアどうしが独立なので， $𝑋 𝑖$ を知っても $(𝑋 𝑖, 𝑌 𝑖)$ の同時分布は変わらない．よって第 1 項は各 $𝑥$ で $𝐼 (𝑋 𝑖; 𝑌 𝑖)$ に等しく，平均しても $𝐼 (𝑋 𝑖; 𝑌 𝑖)$ である．

第 2 項が 0 になることを確かめる．1.4 節の排他的論理和の例が示したとおり，独立な二つが条件を付けた途端に結びつくことはあるので，ここは確認が要る． $(𝑋 𝑖, 𝑌 𝑖)$ の値を固定したとき， $𝑋 𝑖$ と $𝑅 𝑖$ の条件付き同時分布を書き下す．ペア $(𝑋 𝑖, 𝑌 𝑖)$ は他のペア全体と独立だから， $𝑅 𝑖$ の条件付き分布は $(𝑋 𝑖, 𝑌 𝑖)$ のうち $𝑋 𝑖$ の値だけで決まり， $𝑋 𝑖$ にはよらない．一方 $𝑋 𝑖$ の条件付き分布は $𝑌 𝑖$ の値で決まる．すなわち条件付き同時分布が $𝑋 𝑖$ 側と $𝑅 𝑖$ 側の積に分かれるので， $𝑋 𝑖$ と $𝑅 𝑖$ は $(𝑋 𝑖, 𝑌 𝑖)$ のもとで条件付き独立であり，命題 1.4.2 の等号条件により第 2 項は 0 である（排他的論理和の例で結びつきが生じたのは，条件にとった $𝑍$ が両者の共通の関数だったからで，ここではそうなっていない）．

したがって $𝐼 (𝑋 𝑖; 𝑌 𝑛 ∣ 𝑋 𝑖) = 𝐼 (𝑋 𝑖; 𝑌 𝑖)$ で，同分布性からどの項も $𝐼 (𝑋 0; 𝑌 0)$ に等しい． $◼$

この等式は，1 ブロック ( $𝑛$ 文字) を通じて運べる情報量が 1 文字あたりの情報量のちょうど $𝑛$ 倍になる，と読める．情報を「文字あたりレート」で測ってよいという，通信路符号化定理の根拠の一つである．逆に，もし相関や記憶があればこの等式は不等式に崩れ，その「ずれ」が通信路容量の議論で効いてくる．

形式化上の注記. 形式化は i.i.d. 構造を，独立性（積測度への分解）と同分布性のそれぞれについて複数の等式仮定として要求する．いずれも「独立同分布である」という前提条件を表すもので，結論の核心を仮定に抱えさせるものではない．

形式化: mutualInfo_iid_eq_nsmul，一般形 mutualInfo_pi_eq_sum (ソース)

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．

1.5 エントロピー・相互情報量のチェイン則

相互情報量のチェイン則（1 個追加）

𝑛変数版

独立・同分布（i.i.d.）での加法性

$𝑛$ 変数版