1.2 結合エントロピー・条件付きエントロピーとチェイン則

1.1 節では確率変数ひとつの不確かさを測った．しかし情報理論が扱う場面は，情報源と観測，送信符号と受信語のように，複数の確率変数が絡み合う状況がほとんどである．そこで必要になるのが「二つをまとめて見たときの不確かさ」と「片方を知ったあとに残る不確かさ」であり，それぞれ結合エントロピー・条件付きエントロピーとして定義される．本節ではこの二つを導入し，両者を一本の等式で結ぶチェイン則を示す．チェイン則は，以降の章で長いブロックの解析を 1 文字ずつの寄与に分解するときの基本道具になる．

結合エントロピー

二つの確率変数を同時に考えるとき，対 $(𝑋, 𝑌)$ を一つの確率変数とみなせば，そのエントロピーがそのまま結合エントロピーである．

定義 1.2.1（結合エントロピー）. 同時分布 $𝑝 (𝑥, 𝑦)$ をもつ $(𝑋, 𝑌)$ の結合エントロピー を

𝐻 (𝑋, 𝑌) = - \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥, 𝑦)

と定める．これは対 $(𝑋, 𝑌)$ を値域 $X \times Y$ の単一の確率変数とみたときの定義 1.1.1 そのものであり，新しい概念ではない．

読み方は 1.1 節のままで，「二つ合わせて見たときの平均驚き量」である．両端の二つの場合を見ておくと見通しがよい． $𝑋$ と $𝑌$ が独立なら $𝑝 (𝑥, 𝑦) = 𝑝 (𝑥) 𝑝 (𝑦)$ で対数が分かれ， $𝐻 (𝑋, 𝑌) = 𝐻 (𝑋) + 𝐻 (𝑌)$ ，すなわち独立なものは足し算になる（1.1 節で加法性を要請したのがそのまま出てくる）．逆に $𝑌 = 𝑋$ なら対 $(𝑋, 𝑋)$ は $𝑋$ で決まってしまうので $𝐻 (𝑋, 𝑋) = 𝐻 (𝑋)$ となる．同じものを二度数えても不確かさは増えない．一般の $𝑋, 𝑌$ はこの両極のあいだにあり， $𝐻 (𝑋) + 𝐻 (𝑌)$ からどれだけ下がるかが「二つの重なり」を表す．その重なりを正面から測る量が 1.3 節の相互情報量である．

条件付きエントロピー

結合エントロピーは「二つまとめて」の量だった．次に知りたいのは順序のある問い，すなわち「 $𝑌$ を先に知ってしまったあと， $𝑋$ にはどれだけ不確かさが残るか」である． $𝑌 = 𝑦$ を観測したあとの $𝑋$ の分布は条件付き分布 $𝑝 (𝑥 ∣ 𝑦)$ なので，そのときに残る不確かさはこの分布のエントロピー $𝐻 (𝑋 ∣ 𝑌 = 𝑦) = - \sum 𝑥 𝑝 (𝑥 ∣ 𝑦) l o g 𝑝 (𝑥 ∣ 𝑦)$ ，すなわち定義 1.1.1 を条件付き分布に当てただけのものである．ただし観測前の私たちはどの $𝑦$ が出るかを知らない．そこで各 $𝑦$ の場合の残り不確かさを， $𝑦$ が出る確率で平均する．

定義 1.2.2（条件付きエントロピー）.

𝐻 (𝑋 ∣ 𝑌) = \sum 𝑦 𝑝 (𝑦) 𝐻 (𝑋 ∣ 𝑌 = 𝑦) = - \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥 ∣ 𝑦) .

最後の等号は $𝑝 (𝑥, 𝑦) = 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦)$ による書き換えである．なお $𝑝 (𝑦) = 0$ の $𝑦$ では条件付き分布 $𝑝 (𝑥 ∣ 𝑦)$ は一意に定まらないが，その項には重み $𝑝 (𝑦) = 0$ が掛かるため $𝐻 (𝑋 ∣ 𝑌)$ には寄与せず， $𝑝 (𝑦) = 0$ 上で $𝑝 (𝑥 ∣ 𝑦)$ をどう約束しても値は変わらない． $𝐻 (𝑋 ∣ 𝑌)$ は「 $𝑌$ を知ったうえでなお $𝑋$ に残る平均的な不確かさ」と読む． $𝐻 (𝑋 ∣ 𝑌 = 𝑦)$ を特定の $𝑦$ ごとにみれば $𝐻 (𝑋)$ より大きくなることもあり得るが， $𝑦$ について平均した $𝐻 (𝑋 ∣ 𝑌)$ は $𝐻 (𝑋)$ を超えない（「条件付けは平均的に不確かさを減らす」，定理 1.2.4）．

三つ断っておく．第一に，以下では確率関数を引数の記号で区別する慣用に従う． $𝑝 (𝑥)$ は $𝑋$ の周辺分布， $𝑝 (𝑦)$ は $𝑌$ の周辺分布， $𝑝 (𝑥, 𝑦)$ は同時分布， $𝑝 (𝑥 ∣ 𝑦)$ は条件付き分布である．第二に， $𝐻 (𝑋 ∣ 𝑌)$ は各 $𝐻 (𝑋 ∣ 𝑌 = 𝑦)$ の平均であり，命題 1.1.4 より各項が非負だから $𝐻 (𝑋 ∣ 𝑌) \geq 0$ である．第三に，条件が複数あるときは対を 1 変数とみなして定義 1.2.2 を読む（ $𝐻 (𝑋 ∣ 𝑌, 𝑍)$ は $𝐻 (𝑋 ∣ (𝑌, 𝑍))$ のこと）．片方だけ値を固定した $𝐻 (𝑋 ∣ 𝑌 = 𝑦, 𝑍)$ は， $𝑌 = 𝑦$ に固定した世界での $𝐻 (𝑋 ∣ 𝑍)$ ，すなわち $\sum 𝑧 𝑝 (𝑧 ∣ 𝑦) 𝐻 (𝑋 ∣ 𝑌 = 𝑦, 𝑍 = 𝑧)$ を表す．

ここでも両端を見ておく． $𝑋$ が $𝑌$ の関数（ $𝑌$ がわかれば $𝑋$ が決まる）なら，どの $𝑦$ でも条件付き分布は一点に集中するので $𝐻 (𝑋 ∣ 𝑌) = 0$ である． $𝑌$ を知れば $𝑋$ の不確かさは消える．逆に $𝑋$ と $𝑌$ が独立なら $𝑝 (𝑥 ∣ 𝑦) = 𝑝 (𝑥)$ で $𝑦$ に依らず $𝐻 (𝑋 ∣ 𝑌) = 𝐻 (𝑋)$ ，すなわち $𝑌$ を知っても何も減らない．一般の場合はこの $0$ と $𝐻 (𝑋)$ のあいだにあり，「 $𝐻 (𝑋)$ からどれだけ減ったか」が $𝑌$ の持っていた情報の量になる．

注意すべきは， $𝐻 (𝑋 ∣ 𝑌)$ が $𝐻 (𝑋)$ とも $𝐻 (𝑌)$ とも独立に決まる量ではなく，同時分布で決まることである． $𝑋$ と $𝑌$ の周辺分布が同じでも，両者の結びつき方が違えば $𝐻 (𝑋 ∣ 𝑌)$ は変わる．

形式化上の注記（本章共通）. 本ライブラリでは条件付き分布を測度論的なcondDistrib（条件付き分布カーネル）で表し，各 $𝑦$ ごとの離散エントロピーを周辺分布 $𝑝 (𝑦)$ で積分した形で定義する．定義 1.2.2 の中辺（各 $𝑦$ のエントロピーを平均した形）をそのまま写したものである．

この「条件付き量＝核 condDistrib 上の積分」という実現は本章を通じて一貫する．したがって，本文が条件付き量の証明で行う「片方の変数について先に和をとる」操作は，形式化では被積分関数の可積分性（有界・可測）の確認を伴う積分計算に対応する．チェイン則（定理 1.2.3）と相互情報量のエントロピー表現（定理 1.3.4）の形式化は，いずれもこの「和 ↔ 積分」の対応の上に乗っており，本文では一行で済む和の入れ替えが，形式化では測度の分解（disintegration，compProd_map_condDistrib）と可積分性補題に置き換わる．

形式化: condEntropy (ソース)

チェイン則

定理 1.2.3（チェイン則）.

𝐻 (𝑋, 𝑌) = 𝐻 (𝑋) + 𝐻 (𝑌 ∣ 𝑋) = 𝐻 (𝑌) + 𝐻 (𝑋 ∣ 𝑌) .

「対 $(𝑋, 𝑌)$ の不確かさは，まず $𝑋$ の不確かさ，次に $𝑋$ を知ったうえでの $𝑌$ の不確かさ，の和に分解できる」という，エントロピーのもっとも基本的な構造である．

この等式は，二つを一度に当てる代わりに順番に当てていくと思えばよい．まず $𝑋$ を当てる（不確かさ $𝐻 (𝑋)$ ），次に $𝑋$ の答えを知ったうえで $𝑌$ を当てる（不確かさ $𝐻 (𝑌 ∣ 𝑋)$ ）．どちらの手順でも最終的に対 $(𝑋, 𝑌)$ を言い当てるのだから，必要な情報の総量は同じはずで，それが等式になっている．符号化の言葉でいえば「 $𝑋$ を符号化し，続けて $𝑋$ を既知として $𝑌$ を符号化する」という二段階の符号の平均長が，対をまとめて符号化した平均長と一致する，ということである．この「分けて数えても総量は変わらない」構造が，本章のほとんどの等式の背骨になる．

証明. 同時分布のチェイン則 $𝑝 (𝑥, 𝑦) = 𝑝 (𝑥) 𝑝 (𝑦 ∣ 𝑥)$ の両辺の対数をとると $l o g 𝑝 (𝑥, 𝑦) = l o g 𝑝 (𝑥) + l o g 𝑝 (𝑦 ∣ 𝑥)$ ．両辺に $- 𝑝 (𝑥, 𝑦)$ を掛けて $(𝑥, 𝑦)$ について和をとる：

𝐻 (𝑋, 𝑌) = - \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥) - \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑦 ∣ 𝑥) .

以下，和は同時分布が正の点についてとる（ $𝑝 (𝑥, 𝑦) = 0$ の項は $0 l o g 0 = 0$ の約束により両辺とも 0 で，寄与しない）．第 2 項は定義 1.2.2 によりちょうど $𝐻 (𝑌 ∣ 𝑋)$ ．第 1 項は $𝑦$ について先に和をとると $\sum 𝑦 𝑝 (𝑥, 𝑦) = 𝑝 (𝑥)$ だから $- \sum 𝑥 𝑝 (𝑥) l o g 𝑝 (𝑥) = 𝐻 (𝑋)$ ．合わせて $𝐻 (𝑋, 𝑌) = 𝐻 (𝑋) + 𝐻 (𝑌 ∣ 𝑋)$ ． $◼$

両式を見比べると $𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌) = 𝐻 (𝑌) - 𝐻 (𝑌 ∣ 𝑋)$ ，すなわち「 $𝑌$ を知って減る $𝑋$ の不確かさ」と「 $𝑋$ を知って減る $𝑌$ の不確かさ」は等しい．この共通の量が次節の相互情報量 $𝐼 (𝑋; 𝑌)$ である．

形式化上の注記. 形式化では結合エントロピーをペア確率変数 $𝜔 \mapsto (𝑋 (𝜔), 𝑌 (𝜔))$ のエントロピーとして表し，定理 1.2.3 をその分解として証明している．本文の「 $𝑦$ について先に和をとって $𝑝 (𝑥)$ にする」一行が，形式化では本章共通の注記のとおり結合測度を像測度と核 condDistrib へ分解し，内側スライスの可積分性を確認する段になる．証明の難所が本文と形式化で入れ替わる例である．

形式化: entropy_pair_eq_entropy_add_condEntropy (ソース)

条件付けは不確かさを増やさない

定理 1.2.4（条件付けの単調性）.

𝐻 (𝑋 ∣ 𝑌, 𝑍) \leq 𝐻 (𝑋 ∣ 𝑌) .

すなわち，すでに $𝑌$ を知っているところへさらに $𝑍$ を加えても， $𝑋$ に残る平均的な不確かさは増えない． $𝑌$ を自明な定数にとれば $𝐻 (𝑋 ∣ 𝑍) \leq 𝐻 (𝑋)$ という基本形を得る．

この不等式は「平均的に」という但し書きが本質的である．特定の観測値 $𝑍 = 𝑧$ のもとでは $𝐻 (𝑋 ∣ 𝑌, 𝑍 = 𝑧) > 𝐻 (𝑋 ∣ 𝑌)$ となること（個別の観測がかえって混乱を増す状況）はあり得る．

具体例で確かめておこう． $𝑋$ を公平なコイン（表裏が確率 $1 / 2$ ）， $𝑍$ を確率 $0.99$ で「情報なし」，確率 $0.01$ で「 $𝑋$ の値そのもの」を返す観測とする（ $𝑌$ は自明にとる）． $𝑍$ が「 $𝑋$ の値」を返したときは $𝑋$ が確定するので $𝐻 (𝑋 ∣ 𝑍 = 値) = 0$ ，これは $𝐻 (𝑋) = l o g 2$ より小さい．一方「情報なし」を受け取ったときは， $𝑋$ について何も分からないままなので $𝐻 (𝑋 ∣ 𝑍 = 情報なし) = l o g 2 = 𝐻 (𝑋)$ で，増えてもいないが減ってもいない．平均すれば $𝐻 (𝑋 ∣ 𝑍) = 0.99 l o g 2 < l o g 2$ となる．

観測が増やす側に振れる例も作れる． $𝑋$ が確率 $0.9$ で表になる偏ったコインだとする（ $𝐻 (𝑋) = 𝐻 𝑏 (0.9)$ で， $l o g 2$ より小さい）．ここに，たまたま「裏」を示唆する観測 $𝑧$ が来ると， $𝑧$ のもとでの分布は $1 / 2$ 対 $1 / 2$ に近づき，その $𝑧$ のもとでの不確かさは $𝐻 (𝑋)$ より増える．しかしそのような $𝑧$ が出る確率は低く， $𝑧$ について平均すれば差し引きで必ず減る（あるいは変わらない）．定理 1.2.4 が主張しているのはこの平均の話であって，個々の観測の話ではない．

証明. 1.1 節で組み立てた有限 Jensen の不等式（補題 1.1.9）を， $𝜑 (𝑡) = - 𝑡 l o g 𝑡$ の凹性に対して一度だけ使う．まず $𝑌 = 𝑦$ を固定する．定義 1.2.2 を $𝑌 = 𝑦$ のもとで読むと

𝐻 (𝑋 ∣ 𝑌 = 𝑦, 𝑍) = \sum 𝑧 𝑝 (𝑧 ∣ 𝑦) \sum 𝑥 𝜑 (𝑝 (𝑥 ∣ 𝑦, 𝑧)) = \sum 𝑥 (\sum 𝑧 𝑝 (𝑧 ∣ 𝑦) 𝜑 (𝑝 (𝑥 ∣ 𝑦, 𝑧))),

と和の順序を入れ替えられる．内側の和は，重み $𝑝 (𝑧 ∣ 𝑦) \geq 0$ （ $𝑧$ について総和 1）と点 $𝑡 𝑧 = 𝑝 (𝑥 ∣ 𝑦, 𝑧)$ に対する $𝜑$ の重みつき平均だから，補題 1.1.9 より

\sum 𝑧 𝑝 (𝑧 ∣ 𝑦) 𝜑 (𝑝 (𝑥 ∣ 𝑦, 𝑧)) \leq 𝜑 (\sum 𝑧 𝑝 (𝑧 ∣ 𝑦) 𝑝 (𝑥 ∣ 𝑦, 𝑧)) = 𝜑 (𝑝 (𝑥 ∣ 𝑦)) .

最後の等号は全確率の公式 $\sum 𝑧 𝑝 (𝑧 ∣ 𝑦) 𝑝 (𝑥 ∣ 𝑦, 𝑧) = 𝑝 (𝑥 ∣ 𝑦)$ による． $𝑥$ について足し合わせると $𝐻 (𝑋 ∣ 𝑌 = 𝑦, 𝑍) \leq 𝐻 (𝑋 ∣ 𝑌 = 𝑦)$ を得る．最後にこれを $𝑝 (𝑦)$ で重みづけて $𝑦$ について和をとれば，左辺は $𝐻 (𝑋 ∣ 𝑌, 𝑍)$ ，右辺は $𝐻 (𝑋 ∣ 𝑌)$ になり，主張が従う． $◼$

この証明の要点は一つだけである． $𝑍$ を知る前の分布 $𝑝 (𝑥 ∣ 𝑦)$ は， $𝑍$ を知ったあとの分布 $𝑝 (𝑥 ∣ 𝑦, 𝑧)$ たちの混合にほかならない．そして凹関数は混ぜると値が上がる．エントロピーは $𝜑$ の和なので，混ぜたもの（＝ $𝑍$ を知らない状態）のほうが不確かさは大きい．

形式化上の注記（証明ルートの相違）. 形式化は本文とは別ルートをとり，条件付き相互情報量の非負性からこの定理を導いている（本文はその概念より前にこの定理を置くため，凹性から直接組み立てた）．結論の定理は同一である．

形式化: condEntropy_le_condEntropy_of_pair (ソース)

条件を一つ抱えたままのチェイン則

定理 1.2.3 は，後の節で「何かを知ったうえで」使うことが多い．そのたびに導出し直さずに済むよう，条件付きの形をここで立てておく．

補題 1.2.5（条件付きチェイン則）. 確率変数 $𝑋, 𝑌, 𝑍$ について

𝐻 (𝑋, 𝑍 ∣ 𝑌) = 𝐻 (𝑍 ∣ 𝑌) + 𝐻 (𝑋 ∣ 𝑍, 𝑌) .

証明. $𝑌 = 𝑦$ を固定すると，その世界での分布に定理 1.2.3 を当てて $𝐻 (𝑋, 𝑍 ∣ 𝑌 = 𝑦) = 𝐻 (𝑍 ∣ 𝑌 = 𝑦) + 𝐻 (𝑋 ∣ 𝑍, 𝑌 = 𝑦)$ を得る．両辺に $𝑝 (𝑦)$ を掛けて $𝑦$ について和をとれば，定義 1.2.2 の読み方（節の冒頭で断った，片方を固定した量の意味）によりそれぞれ $𝐻 (𝑋, 𝑍 ∣ 𝑌)$ ， $𝐻 (𝑍 ∣ 𝑌)$ ， $𝐻 (𝑋 ∣ 𝑍, 𝑌)$ になる． $◻$

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．