7.4 結合微分エントロピーと劣加法性

第1章 1.2 節では，二つの離散確率変数を組にして $𝐻 (𝑋, 𝑌)$ を定めた（定義 1.2.1）．チェイン則（定理 1.2.3）が $𝐻 (𝑋, 𝑌) = 𝐻 (𝑋) + 𝐻 (𝑌 ∣ 𝑋)$ を与え，条件付けの単調性（定理 1.2.4）が $𝐻 (𝑌 ∣ 𝑋) \leq 𝐻 (𝑌)$ を与えるから， $𝐻 (𝑋, 𝑌) \leq 𝐻 (𝑋) + 𝐻 (𝑌)$ である．二つをまとめて見たときの不確かさは，別々に見たときの和を超えない．本節は同じ不等式を微分エントロピーについて示す．ただし通る道は違う．いま挙げた二つの道具はどちらも条件付きの量を経由するもので，本書は条件付き微分エントロピーを用意しないので使えない．用意しないのは，その定義に「 $𝑋 = 𝑥$ を知ったときの $𝑌$ の密度」が要るからである．条件付ける相手は確率 $0$ の事象なので，定義 7.1.1 が直方体の確率で密度を定めたやり方はそのままでは通らず，測度論の道具が要る．代わりに，補題 7.2.3 に，比べる相手として周辺密度の積を食わせる．

定義はすでにできている．定義 7.1.1 と定義 7.1.2 を $𝑛 \geq 2$ の場合に読めば， $ℝ 𝑛$ に値をとる確率変数 $𝑋 = (𝑋 1, \dots, 𝑋 𝑛)$ の結合密度と結合微分エントロピー $ℎ (𝑋 1, \dots, 𝑋 𝑛)$ がそのまま得られる．必要なのは，結合密度と各成分の密度をつなぐ道具である．

周辺密度

定義 7.4.1（周辺密度）. $𝑛 \geq 1$ とし， $𝑓$ を $ℝ 𝑛$ 上の密度とする．各 $𝑖$ について， $𝑓$ の第 $𝑖$ 変数を $𝑡$ に固定し，残りの $𝑛 - 1$ 変数すべてについて積分して得られる関数を $𝑓 𝑖$ と書き， $𝑓$ の第 $𝑖$ 周辺密度 という． $𝑛 = 2$ ならば

𝑓 1 (𝑡) = \int ℝ 𝑓 (𝑡, 𝑦) 𝑑 𝑦, 𝑓 2 (𝑡) = \int ℝ 𝑓 (𝑥, 𝑡) 𝑑 𝑥

である． $𝑓$ が $ℝ 𝑛$ に値をとる確率変数 $𝑋 = (𝑋 1, \dots, 𝑋 𝑛)$ の結合密度であるとき， $𝑓 𝑖$ を $𝑋 𝑖$ の周辺密度ともいう．

使い道を先に言っておく．補題 7.2.3 の比べる相手 $𝑞$ に各成分の周辺密度の積をとると， $l o g 𝑞$ が成分ごとの和に割れて，補題 7.2.3 の上界 $- \int 𝑓 l o g 𝑞$ が各成分の微分エントロピーの和になる．それを確かめるのが補題 7.4.2 で，そのために，学部の確率で扱う周辺密度についての事実を三つ借りる．第一は 周辺密度の存在 で， $𝑋 = (𝑋 1, \dots, 𝑋 𝑛)$ が結合密度 $𝑓$ をもつとき，定義 7.4.1 の $𝑓 𝑖$ はどれも $ℝ$ 上の密度であり，しかも $𝑋 𝑖$ の密度である，という事実である．第二は 周辺への還元 で，実数値関数 $𝑢 : ℝ \to ℝ$ について

\int ℝ 𝑛 𝑓 (𝑥) 𝑢 (𝑥 𝑖) 𝑑 𝑥 = \int ℝ 𝑓 𝑖 (𝑡) 𝑢 (𝑡) 𝑑 𝑡

であり，一方が絶対収束すればもう一方も絶対収束する．第三は 独立と積の密度 で， $ℝ$ 上の密度 $𝑞 1, \dots, 𝑞 𝑛$ に対し $𝑥 \mapsto \prod 𝑛 𝑖 = 1 𝑞 𝑖 (𝑥 𝑖)$ は $ℝ 𝑛$ 上の密度であり， $𝑋 1, \dots, 𝑋 𝑛$ が独立で各 $𝑋 𝑖$ が $𝑞 𝑖$ を密度にもつことと，この積が $𝑋$ の結合密度になることとは同値である．このとき $𝑞 𝑖$ は $𝑋 𝑖$ の周辺密度でもある．当てる対象は，本節の結合密度と，第8章に現れる結合密度である．周辺への還元の $𝑢$ に当てるのは，周辺密度から「その周辺密度が正の点でその対数，そのほかの点で $0$ 」として作った関数と，その絶対値と，「その周辺密度が $0$ になる点で $1$ ，それ以外で $0$ となる関数」の三つだけである．依存するのは補題 7.4.2 の主張と証明，系 7.4.4 と例 7.4.5 の証明，7.5 節の定義 7.5.4 と命題 7.5.5，および第8章の例 8.1.6・定理 8.2.2・補題 8.3.3・定理 8.3.5 の証明である（第8章が使うのは周辺密度の存在と独立と積の密度の二つで，周辺への還元は使わない）．

周辺密度の積との比較

補題 7.4.2（周辺密度の積との比較）. $𝑛 \geq 1$ とし， $𝑋 = (𝑋 1, \dots, 𝑋 𝑛)$ を $ℝ 𝑛$ に値をとり結合密度 $𝑓$ をもつ確率変数とする．定義 7.4.1 の $𝑋 𝑖$ の周辺密度を $𝑓 𝑖$ とし

𝑞 (𝑥) : = 𝑛 \prod 𝑖 = 1 𝑓 𝑖 (𝑥 𝑖), 𝑆 : = {𝑥 \in ℝ 𝑛 : 𝑓 (𝑥) > 0 かつ 𝑞 (𝑥) > 0}

とおく．このとき $𝑞$ は $ℝ 𝑛$ 上の密度であり， $\int 𝑆 𝑓 (𝑥) 𝑑 𝑥 = 1$ である．さらに各 $𝑖$ について $ℎ (𝑋 𝑖)$ が定まるならば

\int 𝑆 𝑓 (𝑥) | l o g 𝑞 (𝑥) | 𝑑 𝑥 < \infty, - \int 𝑆 𝑓 (𝑥) l o g 𝑞 (𝑥) 𝑑 𝑥 = 𝑛 \sum 𝑖 = 1 ℎ (𝑋 𝑖)

である．

証明. $𝑞$ が $ℝ 𝑛$ 上の密度であることは，借りた独立と積の密度がそのまま与える．

$\int 𝑆 𝑓 = 1$ を見る． $𝑆$ に入らないのに $𝑓 > 0$ である点では，ある $𝑖$ について $𝑓 𝑖 (𝑥 𝑖) = 0$ である．借りた周辺への還元を「 $𝑓 𝑖$ が $0$ になる点で $1$ ，それ以外で $0$ となる関数」に当てると

\int {𝑥 : 𝑓 𝑖 (𝑥 𝑖) = 0} 𝑓 (𝑥) 𝑑 𝑥 = \int {𝑡 : 𝑓 𝑖 (𝑡) = 0} 𝑓 𝑖 (𝑡) 𝑑 𝑡 = 0

である（右の積分は，被積分関数が積分域の上で $0$ だから $0$ である）． $𝑖$ について足し合わせると， $𝑓 > 0$ かつ $𝑞 = 0$ の点の全体を $𝑁$ として $\int 𝑁 𝑓 = 0$ であり，したがって $\int 𝑆 𝑓 = \int ℝ 𝑛 𝑓 = 1$ である．

対数を成分ごとに分ける道具を用意する．各 $𝑖$ について， $𝑓 𝑖 (𝑡) > 0$ の点で $𝑢 𝑖 (𝑡) : = l o g 𝑓 𝑖 (𝑡)$ ，そのほかの点で $𝑢 𝑖 (𝑡) : = 0$ と定める． $𝑢 𝑖$ は実数値関数であり， $𝑆$ の上ではどの $𝑓 𝑖 (𝑥 𝑖)$ も正だから $l o g 𝑞 (𝑥) = \sum 𝑖 𝑢 𝑖 (𝑥 𝑖)$ である．また定義 7.1.2 の約束から $𝑓 𝑖 | 𝑢 𝑖 | = | 𝑓 𝑖 l o g 𝑓 𝑖 |$ なので， $\int ℝ 𝑓 𝑖 | 𝑢 𝑖 |$ は $ℎ (𝑋 𝑖)$ が定まることから有限である．

積分が有限であることを見る． $𝑆$ の上で $| l o g 𝑞 (𝑥) | \leq \sum 𝑖 | 𝑢 𝑖 (𝑥 𝑖) |$ だから

\int 𝑆 𝑓 (𝑥) | l o g 𝑞 (𝑥) | 𝑑 𝑥 \leq 𝑛 \sum 𝑖 = 1 \int ℝ 𝑛 𝑓 (𝑥) | 𝑢 𝑖 (𝑥 𝑖) | 𝑑 𝑥 = 𝑛 \sum 𝑖 = 1 \int ℝ 𝑓 𝑖 (𝑡) | 𝑢 𝑖 (𝑡) | 𝑑 𝑡

であり（等号は借りた周辺への還元による），右辺は有限である．

値を求める．いま見たとおり $𝑥 \mapsto 𝑓 (𝑥) 𝑢 𝑖 (𝑥 𝑖)$ は $ℝ 𝑛$ の上で絶対収束する積分をもつので，7.2 節で借りた零集合の上での積分を $𝑁$ について当てると $\int 𝑁 𝑓 (𝑥) 𝑢 𝑖 (𝑥 𝑖) 𝑑 𝑥 = 0$ である． $𝑆$ の外で $𝑓 > 0$ である点の全体が $𝑁$ だから

\int 𝑆 𝑓 (𝑥) 𝑢 𝑖 (𝑥 𝑖) 𝑑 𝑥 = \int ℝ 𝑛 𝑓 (𝑥) 𝑢 𝑖 (𝑥 𝑖) 𝑑 𝑥 = \int ℝ 𝑓 𝑖 (𝑡) 𝑢 𝑖 (𝑡) 𝑑 𝑡 = - ℎ (𝑋 𝑖)

である（二つめの等号は借りた周辺への還元，三つめは定義 7.1.2 の約束による）． $𝑖$ について足せば $\int 𝑆 𝑓 l o g 𝑞 = - \sum 𝑖 ℎ (𝑋 𝑖)$ となり，主張を得る． $◻$

劣加法性

定理 7.4.3（微分エントロピーの劣加法性）. $𝑛 \geq 1$ とし， $𝑋 = (𝑋 1, \dots, 𝑋 𝑛)$ を $ℝ 𝑛$ に値をとり結合密度をもつ確率変数とする． $ℎ (𝑋 1, \dots, 𝑋 𝑛)$ が定まり，各 $𝑖$ について $ℎ (𝑋 𝑖)$ が定まるならば

ℎ (𝑋 1, \dots, 𝑋 𝑛) \leq 𝑛 \sum 𝑖 = 1 ℎ (𝑋 𝑖)

である．

証明. $𝑓$ を $𝑋$ の結合密度とし， $𝑓 𝑖$ ， $𝑞$ ， $𝑆$ を補題 7.4.2 のとおりにとる．補題 7.4.2 より $𝑞$ は $ℝ 𝑛$ 上の密度で， $\int 𝑆 𝑓 = 1$ と $\int 𝑆 𝑓 | l o g 𝑞 | < \infty$ が成り立つ．仮定より $ℎ (𝑋 1, \dots, 𝑋 𝑛)$ も定まるから，補題 7.2.3 の仮定がすべて満たされて

ℎ (𝑋 1, \dots, 𝑋 𝑛) \leq - \int 𝑆 𝑓 (𝑥) l o g 𝑞 (𝑥) 𝑑 𝑥 = 𝑛 \sum 𝑖 = 1 ℎ (𝑋 𝑖)

である．最後の等号も補題 7.4.2 による． $◼$

形式化上の注記. 形式化には $2$ 変数の jointDifferentialEntropy_le_sum と $𝑛$ 変数の jointDifferentialEntropyPi_le_sum (InformationTheory/Shannon/MultivariateDiffEntropy.lean) がある．どちらも，結合分布が周辺分布の積について絶対連続であることを仮定にもつ．これは本文では補題 7.4.2 の $\int 𝑆 𝑓 = 1$ にあたり，仮定ではなく借りた周辺密度の事実から導いた結論なので，これらの宣言は定理 7.4.3 をそのまま証明してはいない．ほかの仮定には本文で対応するものがある．各周辺分布が Lebesgue 測度について絶対連続であることは借りた周辺密度の存在にあたり，対数密度が積分できることは「定まる」にあたる． $𝑛$ 変数の側はさらに結合分布が Lebesgue 測度について絶対連続であることを仮定するが，これは本文の「結合密度をもつ」そのものである．

不等式の意味は離散のときと変わらない．どちらの辺の微分エントロピーも定まるかぎり， $𝑛$ 個の観測をまとめて見たときの散らばりは，一つずつ見たときの散らばりの和を超えない．超えないぶんが，成分どうしの依存の強さである．どれだけ超えないかを量として取り出すのが 7.5 節の相互情報量で，そこでは $𝑛 = 2$ の場合の定理 7.4.3 が「その量が非負である」という形に読み替わる．

独立なときには等号になる．

系 7.4.4（独立なときの等号）. $𝑛 \geq 1$ とし， $𝑋 1, \dots, 𝑋 𝑛$ を独立な実数値確率変数で，各 $𝑋 𝑖$ は密度をもち $ℎ (𝑋 𝑖)$ が定まるものとする．このとき $𝑋 = (𝑋 1, \dots, 𝑋 𝑛)$ は結合密度をもち， $ℎ (𝑋 1, \dots, 𝑋 𝑛)$ は定まって

ℎ (𝑋 1, \dots, 𝑋 𝑛) = 𝑛 \sum 𝑖 = 1 ℎ (𝑋 𝑖)

である．

証明. $𝑓 𝑖$ を $𝑋 𝑖$ の密度とする．借りた独立と積の密度により $𝑓 (𝑥) : = \prod 𝑖 𝑓 𝑖 (𝑥 𝑖)$ は $𝑋$ の結合密度であり，各 $𝑓 𝑖$ は $𝑋 𝑖$ の周辺密度でもある．この $𝑓$ と $𝑓 𝑖$ について補題 7.4.2 を読むと $𝑞 = 𝑓$ で， $𝑆 = {𝑥 : 𝑓 (𝑥) > 0}$ である． $𝑆$ の外では $𝑓 = 0$ で $𝑓 l o g 𝑓 = 0$ だから

\int ℝ 𝑛 | 𝑓 (𝑥) l o g 𝑓 (𝑥) | 𝑑 𝑥 = \int 𝑆 𝑓 (𝑥) | l o g 𝑞 (𝑥) | 𝑑 𝑥 < \infty

であり， $ℎ (𝑋 1, \dots, 𝑋 𝑛)$ は定まる．その値は，同じ理由で $\int ℝ 𝑛 𝑓 l o g 𝑓 = \int 𝑆 𝑓 l o g 𝑞$ だから，補題 7.4.2 より $\sum 𝑖 ℎ (𝑋 𝑖)$ である． $◼$

形式化上の注記. 系 7.4.4 の等式そのものは jointDifferentialEntropyPi_pi_eq_sum (InformationTheory/Shannon/ParallelGaussian/Converse/Core.lean) が与えるが，述べている対象が違う．こちらは各成分の分布を並べて作った積測度についての等式で，本文のように独立な確率変数の組から出発してはいない．仮定は，各成分の分布が Lebesgue 測度について絶対連続であること（本文の「各 $𝑋 𝑖$ は密度をもつ」にあたる）と，各成分の対数密度が積分できること（「 $ℎ (𝑋 𝑖)$ が定まる」にあたる）である．

劣加法性のもう一方の端，すなわち一方が他方で決まってしまう場合を，本章は扱わない． $𝑌 = 𝑋$ とおくと対 $(𝑋, 𝑌)$ は平面の対角線の上にしか値をとらないから， $(𝑋, 𝑌)$ はそこに確率 $1$ を置いている．ところが対角線は平面の面積が $0$ の集合であり，7.1 節で借りた体積 $0$ の集合の確率によれば，密度をもつ確率変数はそういう集合の上に確率を置かない．したがって $(𝑋, 𝑌)$ には定義 7.1.1 の意味の結合密度がない．離散では $𝐻 (𝑋, 𝑋)$ という量がそのまま書けたのに対し，連続では定理 7.4.3 も 7.5 節の相互情報量も，結合密度を前提にしているので当てられない．

起きていることは，読み取った値の側から見える． $𝑋$ が定理 7.1.6 の仮定を満たすとき，幅 $𝛿 𝐽$ で読み取った $̃ 𝑋 𝐽$ のエントロピー $𝐻 (̃ 𝑋 𝐽)$ は $𝐽 \to \infty$ で発散する（定理 7.1.6）． $𝑌 = 𝑋$ なら読み取った値も両方で同じなので，読み取った対のもつ依存の強さは精度を上げるほど大きくなり，一つの有限の値には落ち着かない，と読める．本書はこの読みを主張としては述べない．離散の $𝐼 (̃ 𝑋 𝐽; ̃ 𝑋 𝐽)$ を $𝐻 (̃ 𝑋 𝐽)$ に直すのに $𝐻 (𝑋, 𝑋) = 𝐻 (𝑋)$ が要り，第1章はそれを番号の付いた主張として述べていないからである．これも離散との違いの一つである．

例 7.4.5（三角形の上の一様分布）. $(𝑋, 𝑌)$ が三角形 $𝑇 = {(𝑥, 𝑦) : 0 \leq 𝑦 \leq 𝑥 \leq 1}$ の上の一様分布に従う，すなわち結合密度が $𝑇$ の上で $2$ ，その外で $0$ であるとする．このとき

ℎ (𝑋, 𝑌) = - l o g 2, ℎ (𝑋) = ℎ (𝑌) = - l o g 2 + 12 l o g 𝑒

であり，定理 7.4.3 の不等式は狭義に成り立って，両辺の差は $l o g 𝑒 2$ である．底を $2$ にとればこの差は約 $0.4427$ ビットである．

証明. 三角形の面積は $1 / 2$ だから，結合密度は $𝑇$ の上で $2$ ，その外で $0$ である．これは定義 7.1.1 の密度で， $𝑓 l o g 𝑓$ は $𝑇$ の上で定数 $2 l o g 2$ ，その外で $0$ だから $ℎ (𝑋, 𝑌)$ は定まり

ℎ (𝑋, 𝑌) = - \int 𝑇 2 l o g 2 𝑑 𝑥 𝑑 𝑦 = - 2 l o g 2 \cdot 12 = - l o g 2

である．

周辺密度を求める．定義 7.4.1 と借りた周辺密度の存在より， $0 \leq 𝑡 \leq 1$ のとき

𝑓 1 (𝑡) = \int 𝑡 0 2 𝑑 𝑦 = 2 𝑡, 𝑓 2 (𝑡) = \int 1 𝑡 2 𝑑 𝑥 = 2 (1 - 𝑡)

であり， $[0, 1]$ の外では $0$ である．

$ℎ (𝑋)$ を計算する．7.1 節で既知とした $l o g 𝑡$ の導関数と部分積分により $\int 10 𝑡 l o g 𝑡 𝑑 𝑡 = [𝑡 2 2 l o g 𝑡] 10 - l o g 𝑒 2 \int 10 𝑡 𝑑 𝑡 = - l o g 𝑒 4$ である．よって

ℎ (𝑋) = - \int 10 2 𝑡 l o g (2 𝑡) 𝑑 𝑡 = - l o g 2 \int 10 2 𝑡 𝑑 𝑡 - 2 \int 10 𝑡 l o g 𝑡 𝑑 𝑡 = - l o g 2 + 12 l o g 𝑒

である． $𝑓 2 (𝑡) = 𝑓 1 (1 - 𝑡)$ であり，7.3 節で借りた置換積分を $𝑐 = - 1$ ， $𝑏 = 1$ ととって（すなわち $𝑦 = 1 - 𝑥$ という置き換えで）使うと， $ℎ (𝑌)$ の積分は $ℎ (𝑋)$ の積分に移るので $ℎ (𝑌) = ℎ (𝑋)$ である．

差をとる． $ℎ (𝑋) + ℎ (𝑌) - ℎ (𝑋, 𝑌) = - 2 l o g 2 + l o g 𝑒 + l o g 2 = l o g 𝑒 - l o g 2 = l o g 𝑒 2$ である． $𝑒 > 2$ だからこれは正で，底を $2$ にとると $l o g 2 (𝑒 / 2) = 0.4427 \dots$ である． $◼$

例 7.4.5 では $𝑋$ と $𝑌$ が独立でない． $𝑋$ の値を知ると $𝑌$ が動ける範囲が $[0, 𝑋]$ に限られるからで，そのぶんだけ結合微分エントロピーが和より小さくなっている．小さくなった量 $l o g 𝑒 2$ を， $𝑋$ と $𝑌$ のあいだの依存の強さを表す量として取り出すのが次節である．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．