7.1 微分エントロピー

第1章から第6章まで，エントロピーの引数に置いた確率変数はつねに有限個の値をとるものだった．エントロピーの定義（定義 1.1.1）は記号ごとの確率を足し合わせる形をしていて，記号が有限個であることをその形に織り込んでいる．しかし実際に測る量の多くは実数である．電圧，到着時刻，位置．これらを情報理論の言葉で扱うには，和を積分に置き換えた量が要る．本章はその量を定義し，離散のエントロピーと何が同じで何が違うのかを見る．

置き換えそのものは素直である．確率 $𝑝 (𝑥)$ を密度 $𝑓 (𝑥)$ に，和 $\sum 𝑥$ を積分 $\int 𝑑 𝑥$ に取り替えればよい．ただし，そうしてできた量は離散のエントロピーの単なる連続版ではない．本節の終わりで見るように，実数を有限の精度で読み取った値のエントロピーは精度を上げると発散し，新しい量はその発散する部分を差し引いた残りにあたる．差し引いた残りなので負にもなる．

定義

定義 7.1.1（確率密度関数）. $𝑛 \geq 1$ とする． $𝑓 : ℝ 𝑛 \to [0, \infty)$ が積分できて $\int ℝ 𝑛 𝑓 (𝑥) 𝑑 𝑥 = 1$ を満たすとき， $𝑓$ を $ℝ 𝑛$ 上の密度という． $ℝ 𝑛$ に値をとる確率変数 $𝑋$ と $ℝ 𝑛$ 上の密度 $𝑓$ について，任意の直方体 $𝑅 = [𝑎 1, 𝑏 1] \times \dots \times [𝑎 𝑛, 𝑏 𝑛]$ で

P r [𝑋 \in 𝑅] = \int 𝑅 𝑓 (𝑥) 𝑑 𝑥

が成り立つとき， $𝑓$ を $𝑋$ の 確率密度関数 といい，本書では以下，単に $𝑋$ の密度と呼ぶ． $𝑛 \geq 2$ のときこれを 結合密度 とも呼ぶ．

定義 7.1.1 が積分を置いたのは $ℝ 𝑛$ の全体と直方体の上だけだが，以下では ${𝑥 : 𝑓 (𝑥) > 0}$ のように条件で定めた集合 $𝐴$ の上での積分も使う．これは， $𝐴$ の外で $0$ とおいた関数の $ℝ 𝑛$ 全体での積分と読む．本章に現れる集合はすべてこの読み方ができるものとし，積分の線形性，非負な関数についての単調性（ $𝐴 \subseteq 𝐵$ ならば $\int 𝐴 \leq \int 𝐵$ ），および絶対収束する積分を項ごとに分けてよいことを，微積分の計算規則として既知とする．同じ資格で，有界閉区間の上の連続関数はその絶対値も積分できること，部分積分と，そこに現れる境界項の極限（多項式と減衰する指数関数の積が $𝑥 \to \infty$ で $0$ に近づくこと， $𝑡 2 l o g 𝑡$ が $𝑡 ↓ 0$ で $0$ に近づくこと）， $l o g 𝑡$ の導関数が $(l o g 𝑒) / 𝑡$ であること，および有限な値に収束する広義積分の扱いも既知とする．当てる対象は，本章に現れる密度と，それに多項式や対数を掛けて作る関数，および例 7.1.5 の証明でそれらを上下から抑えるのに使う $l o g 𝑥$ と $l o g l o g 𝑥$ である．第8章もこれらを同じ資格で使う．そちらでの当てる対象は，第8章に現れる密度とそれに多項式や対数を掛けて作る関数，および 8.4 節の命題 8.4.1 に現れる球と立方体の上での定数関数である．第16章 16.7 節も同じ資格でこれを借り直すが，そちらの一覧は本節のものと同じではない．本節が挙げた規則のうち引き継ぐのは積分の線形性・ $l o g 𝑡$ の導関数・部分積分・ $𝑡 2 l o g 𝑡$ の極限・広義積分の扱いの五つで，そこに合成関数の微分・指数関数の導関数・微積分の基本定理を加えている．そちらでの当てる対象は，16.7 節と 16.8 節に現れる密度と，それに多項式や対数を掛けて作る関数のほかに，16.7 節が雑音の分散を変数として書く $1$ 次式の対数とその逆数を含む．

確率と密度をつなぐ事実も二つ借りる．一つめは 期待値の積分表示 で， $ℝ 𝑛$ に値をとり密度 $𝑓$ をもつ確率変数 $𝑋$ と実数値関数 $𝑢$ について $𝔼 [𝑢 (𝑋)] = \int ℝ 𝑛 𝑢 (𝑥) 𝑓 (𝑥) 𝑑 𝑥$ であり，一方が絶対収束すればもう一方も絶対収束する，という事実である．当てる対象は， $𝑢$ が密度の対数（密度が正の点でその対数，そのほかの点で $0$ ととったもの）である場合と， $𝑢$ が $2$ 次以下の多項式である場合だけである．二つめは 体積 $0$ の集合の確率 で， $𝑛$ 次元の体積が $0$ である集合の上に，密度をもつ確率変数は確率を置かない，という事実である．当てる対象は，7.4 節の終わりに出てくる平面の対角線と，第8章 8.2 節が電力 $0$ の制約を扱うところに出てくる実軸の $1$ 点，および 8.3 節の初めに出てくる「第 $1$ 座標の組が有限個の点のどれかに等しい」という集合の三つである．どちらも定義 7.1.1 からその場で読み取れる一歩ではない．定義 7.1.1 が確率と積分を結びつけたのは，直方体の上でだけだからである．

定義 7.1.2（微分エントロピー）. $𝑛 \geq 1$ とし， $𝑋$ を $ℝ 𝑛$ に値をとり密度 $𝑓$ をもつ確率変数とする． $\int ℝ 𝑛 | 𝑓 (𝑥) l o g 𝑓 (𝑥) | 𝑑 𝑥 < \infty$ であるとき， $𝑋$ の 微分エントロピー を

ℎ (𝑋) : = - \int ℝ 𝑛 𝑓 (𝑥) l o g 𝑓 (𝑥) 𝑑 𝑥

で定め，このとき $ℎ (𝑋)$ が 定まる という． $𝑓 (𝑥) = 0$ の点では定義 1.1.1 と同じく $𝑓 (𝑥) l o g 𝑓 (𝑥) = 0$ と約束する． $𝑋 = (𝑋 1, \dots, 𝑋 𝑛)$ と成分で書くときは $ℎ (𝑋 1, \dots, 𝑋 𝑛)$ とも書き， $𝑛 \geq 2$ のときこれを 結合微分エントロピー と呼ぶ．

式の形は，離散のときとまったく同じである．借りた期待値の積分表示により $ℎ (𝑋) = 𝔼 [- l o g 𝑓 (𝑋)]$ と読めて， $- l o g 𝑓 (𝑥)$ を「その点で密度が薄いこと」の目盛とし，それを $𝑋$ 自身の分布で平均している．離散のエントロピー $𝐻 (𝑋) = 𝔼 [- l o g 𝑝 (𝑋)]$ と並べると，中身の $𝑝$ が $𝑓$ に替わっただけである．

絶対値をつけた積分が有限であることを要求したのは， $ℎ (𝑋)$ を一つの実数として確定させるためである．離散のときは項が有限個だったので値はつねに実数だったが，積分では正の部分と負の部分の一方または両方が発散しうる．裾の重い密度ではそれが実際に起きて， $ℎ (𝑋)$ を定めない場合がある．例 7.1.5 がその一つである．

替わったことの帰結は小さくない．確率 $𝑝 (𝑥)$ はつねに $[0, 1]$ に入るので $- l o g 𝑝 (𝑥) \geq 0$ であり，平均をとった $𝐻 (𝑋)$ も非負だった（命題 1.1.4）．密度 $𝑓 (𝑥)$ にはその上限がなく， $1$ を超えることができる．そこでは $- l o g 𝑓 (𝑥)$ が負になり， $ℎ (𝑋)$ も負になりうる．文字を $𝐻$ ではなく $ℎ$ にするのはこのためで，二つは同じ量の離散版と連続版ではない．

$ℎ (𝑋)$ が $𝑋$ の値でなく密度だけで決まるのは，離散のときと同じである．なお同じ $𝑋$ の密度は一通りには決まらない．ある密度の値を有限個の点で書き換えても，どの直方体の上での積分も変わらないので，得られる関数はやはり同じ $𝑋$ の密度である．二つの密度が食い違えるのはこの種の，積分を変えない範囲に限られ，したがって $ℎ (𝑋)$ の値は密度の選び方によらない．この事実は測度論を使って示されるもので，本書では証明しない．依存するのは，密度を「その一つ」として選んでから値を計算する箇所，すなわち命題 7.3.2 と命題 7.3.3 の証明，補題 7.4.2 を経由する定理 7.4.3 と系 7.4.4，および定義 7.5.4・命題 7.5.5・系 7.5.7 である．第8章と第9章も，微分エントロピーの値を密度から計算するたびに同じ事実に依存する（第8章命題 8.1.4 と第9章補題 9.4.2 がその形である）．

$𝑛 = 1$ が基本で，7.4 節に入るまで $𝑛 \geq 2$ の形で述べる主張は補題 7.2.3 だけである． $𝑛 \geq 2$ は，複数の観測をまとめて一つの確率変数と見るときに要る．

形式化: differentialEntropy，密度による書き換え differentialEntropy_eq_integral_density (ソース)， $2$ 変数 jointDifferentialEntropy， $𝑛$ 変数 jointDifferentialEntropyPi (ソース)

形式化上の注記（本章共通）. 形式化は $l o g$ を自然対数にとるので，微分エントロピーの単位はナットである．

形式化は，密度をもたない分布にも，密度をもつが $| 𝑓 l o g 𝑓 |$ の積分が有限でない分布にも，値を返す約束になっている． $1$ 点に集中した分布には $0$ を返し，例 7.1.5 の裾の重い密度にも $0$ を返す．どちらも本文が「定まる」と呼んだ場合の外なので，これらの値は本文のどの主張にも対応しない．そうなるのは，形式化が密度を引数として受け取らず，Lebesgue 測度に対する Radon–Nikodym 微分を分布から取り出して積分する形で定義してあり，積分できないときの値を $0$ と決めているからである．二つの退化を切り分けた形は differentialEntropyExt (InformationTheory/Shannon/EntropyPower/Ext.lean) として別に形式化されていて，そちらは特異な分布に $- \infty$ を，裾の重い密度に $+ \infty$ を返す．

密度の選び方によらないことにあたる単独の宣言はない．紐付けた differentialEntropy_eq_integral_density が密度を全称でとる形をしているので，同じ分布の二つの密度にそれぞれ当てて値を比べる，という合成で得られる．

例

例 7.1.3（一様分布）. $𝑤 > 0$ とし， $𝑋$ が長さ $𝑤$ の区間の上の一様分布に従うとする．このとき $ℎ (𝑋)$ は定まり， $ℎ (𝑋) = l o g 𝑤$ である．とくに $𝑤 < 1$ ならば $ℎ (𝑋) < 0$ であり， $𝑤 = 1$ ならば $ℎ (𝑋) = 0$ である．

証明. 区間を $[𝑎, 𝑎 + 𝑤]$ とすると，密度は $[𝑎, 𝑎 + 𝑤]$ の上で $𝑓 (𝑥) = 1 / 𝑤$ ，その外で $0$ である． $𝑓 (𝑥) l o g 𝑓 (𝑥)$ は $[𝑎, 𝑎 + 𝑤]$ の上で定数 $1 𝑤 l o g 1 𝑤$ ，その外で $0$ だから，その絶対値の積分は有限で $ℎ (𝑋)$ は定まる．値は

ℎ (𝑋) = - \int 𝑎 + 𝑤 𝑎 1 𝑤 l o g 1 𝑤 𝑑 𝑥 = - l o g 1 𝑤 = l o g 𝑤

である． $l o g$ は引数が $1$ で $0$ ， $1$ より小さいところで負だから，後半が従う． $◼$

離散のエントロピーが負にならなかった（命題 1.1.4）のに対し，微分エントロピーは負になる．区間の幅を半分にすると $ℎ$ は $l o g 2$ だけ減り，幅をいくらでも小さくとれば $ℎ$ はいくらでも小さくなる．「不確かさの大きさ」という読み方をそのまま持ち込めないことが，最小の例で見えている．

次の例には $l o g 𝑒$ という因子が現れる． $l o g$ の底を $𝑒$ にとればこれは $1$ だが，本書は底を固定していないので落とせない．本章に現れる等式・不等式は，底を $1$ より大きくとるかぎり，そのままの形で成り立つ．底を $𝑏$ から $𝑏'$ に取り替えると，どの対数も一斉に $l o g 𝑏' 𝑏$ 倍になるので， $ℎ$ の値も $l o g 𝑒$ も同じ倍率で変わるからである．

例 7.1.4（指数分布）. $𝑚 > 0$ とし， $𝑋$ が平均 $𝑚$ の指数分布，すなわち密度

𝑓 (𝑥) = ⎧ { {⎨ { {⎩ 1 𝑚 𝑒 - 𝑥 / 𝑚 (𝑥 \geq 0), 0 (𝑥 < 0)

をもつとする．このとき $ℎ (𝑋)$ は定まり， $ℎ (𝑋) = l o g (𝑒 𝑚)$ である．

証明. $𝑥 \geq 0$ で $l o g 𝑓 (𝑥) = - l o g 𝑚 - 𝑥 𝑚 l o g 𝑒$ だから

𝑓 (𝑥) l o g 𝑓 (𝑥) = - 1 𝑚 𝑒 - 𝑥 / 𝑚 (l o g 𝑚 + 𝑥 𝑚 l o g 𝑒)

である．右辺の絶対値は $𝑥 \to \infty$ で指数的に $0$ に近づくので積分は絶対収束し， $ℎ (𝑋)$ は定まる．値は

ℎ (𝑋) = l o g 𝑚 \int \infty 0 1 𝑚 𝑒 - 𝑥 / 𝑚 𝑑 𝑥 + l o g 𝑒 𝑚 \int \infty 0 𝑥 1 𝑚 𝑒 - 𝑥 / 𝑚 𝑑 𝑥

となる．第 1 の積分は密度の全積分だから $1$ である．第 2 の積分は部分積分で

\int \infty 0 𝑥 1 𝑚 𝑒 - 𝑥 / 𝑚 𝑑 𝑥 = [- 𝑥 𝑒 - 𝑥 / 𝑚] \infty 0 + \int \infty 0 𝑒 - 𝑥 / 𝑚 𝑑 𝑥 = 𝑚

となる．よって $ℎ (𝑋) = l o g 𝑚 + l o g 𝑒 = l o g (𝑒 𝑚)$ である． $◼$

幅で読む. 例 7.1.3 と例 7.1.4 では，どちらも微分エントロピーが長さの対数の形になった．一様分布では区間の長さそのものが，指数分布では平均の $𝑒$ 倍がその長さである．底を $2$ にとると，この形は $2 ℎ (𝑋)$ をその分布の実効的な幅と読む物差しになる．幅 $𝑤$ の一様分布では $2 ℎ (𝑋) = 𝑤$ で区間の幅そのもの，平均 $𝑚$ の指数分布では $2 ℎ (𝑋) = 𝑒 𝑚$ である．長さの対数だから，長さの単位を変えれば値も変わる．引き伸ばして幅を何倍かにすれば $ℎ$ はその倍率の対数だけ増えるはずで，実際そうなることは 7.3 節で示す．

最後に， $ℎ$ が定まらない例を見ておく．定義 7.1.2 が絶対値をつけた積分の有限性を要求したのは，こういう密度を外すためである．

例 7.1.5（裾の重い密度）. $𝑐 : = (l o g 𝑒) 2$ とおき， $𝑥 \geq 𝑒$ で $𝑓 (𝑥) : = 𝑐 𝑥 (l o g 𝑥) 2$ ， $𝑥 < 𝑒$ で $𝑓 (𝑥) : = 0$ と定める．このとき $𝑓$ は $ℝ$ 上の密度であり， $𝑓$ を密度にもつ実数値確率変数 $𝑋$ について $\int ℝ | 𝑓 (𝑥) l o g 𝑓 (𝑥) | 𝑑 𝑥 = \infty$ である．すなわち $ℎ (𝑋)$ は定まらない．

証明. $𝑓$ が密度であることを見る． $𝑓$ は非負である． $l o g 𝑡$ の導関数が $(l o g 𝑒) / 𝑡$ であることから， $- 1 / l o g 𝑥$ の導関数は $(l o g 𝑒) / (𝑥 (l o g 𝑥) 2)$ である． $𝑥 \to \infty$ で $- 1 / l o g 𝑥 \to 0$ であり， $𝑥 = 𝑒$ での値は $- 1 / l o g 𝑒$ だから

\int \infty 𝑒 𝑑 𝑥 𝑥 (l o g 𝑥) 2 = 1 l o g 𝑒 [- 1 l o g 𝑥] \infty 𝑒 = 1 (l o g 𝑒) 2

である．よって $\int ℝ 𝑓 = 𝑐 / (l o g 𝑒) 2 = 1$ であり， $𝑓$ は $ℝ$ 上の密度である．

絶対値をつけた積分が発散することを見る． $𝑥 \geq 𝑒$ では $- l o g 𝑓 (𝑥) = - l o g 𝑐 + l o g 𝑥 + 2 l o g l o g 𝑥$ であり， $𝑥 \to \infty$ で $l o g 𝑥$ も $l o g l o g 𝑥$ も $+ \infty$ に発散するから， $𝑥$ が十分大きいところでは $- l o g 𝑓 (𝑥) \geq 12 l o g 𝑥$ である．そこでは $| 𝑓 (𝑥) l o g 𝑓 (𝑥) | = 𝑓 (𝑥) (- l o g 𝑓 (𝑥)) \geq 𝑐 / (2 𝑥 l o g 𝑥)$ が成り立つ．ところが $l o g l o g 𝑥$ の導関数が $(l o g 𝑒) 2 / (𝑥 l o g 𝑥)$ であることから $\int \infty 𝑑 𝑥 𝑥 l o g 𝑥$ は発散する．よって $\int ℝ | 𝑓 l o g 𝑓 | = \infty$ である． $◼$

離散のエントロピーとの関係

微分エントロピーが離散のエントロピーの何にあたるのかは， $𝑋$ を有限の精度で読み取ったときのエントロピーを調べればわかる．実数を幅 $𝛿$ の区間に切って，どの区間に入ったかだけを記録すれば，得られるのは有限個の値をとる確率変数であり，そのエントロピーは定義 1.1.1 で測れる．精度を上げる（ $𝛿$ を小さくする）と何が起きるかが，次の定理である．

証明が使う一般の道具を二つ借りる．一つめは 積分の平均値の定理，すなわち「有界閉区間の上で連続な実数値関数について，その区間の上での積分は，区間の中のある $1$ 点での関数の値に区間の長さを掛けたものに等しい」という微積分の定理である．二つめは リーマン和の収束，すなわち「有界閉区間の上で連続な実数値関数について，区間を $𝐽$ 等分して各小区間から $1$ 点ずつ選んで作ったリーマン和は， $𝐽 \to \infty$ でその関数の積分に収束する」という事実である．どちらも当てる相手は有界閉区間の上の連続な実数値関数だけで，依存するのは定理 7.1.6 の証明だけである．ほかに， $𝜑 (𝑡) = - 𝑡 l o g 𝑡$ が $[0, \infty)$ の全体で連続であること（補題 1.1.8）を使う．

次の定理で区間に付ける名前 $𝐼 𝑖$ は，定義 1.3.1 の相互情報量 $𝐼$ とは関係がない．

定理 7.1.6（量子化した確率変数のエントロピー）. $𝑎 < 𝑏$ を実数とし， $𝑋$ を密度 $𝑓$ をもつ実数値確率変数で， $𝑓$ は $[𝑎, 𝑏]$ の外で $0$ であり $[𝑎, 𝑏]$ の上で連続であるとする．各整数 $𝐽 \geq 1$ について $𝛿 𝐽 : = (𝑏 - 𝑎) / 𝐽$ とおき， $[𝑎, 𝑏]$ を

𝐼 𝑖 = [𝑎 + (𝑖 - 1) 𝛿 𝐽, 𝑎 + 𝑖 𝛿 𝐽) (1 \leq 𝑖 \leq 𝐽 - 1), 𝐼 𝐽 = [𝑎 + (𝐽 - 1) 𝛿 𝐽, 𝑏]

と分ける． $̃ 𝑋 𝐽 \in {1, \dots, 𝐽}$ を， $𝑋 \in 𝐼 𝑖$ のときその番号 $𝑖$ ， $𝑋 \notin [𝑎, 𝑏]$ のとき $1$ と定める．このとき $ℎ (𝑋)$ は定まり，

𝐻 (̃ 𝑋 𝐽) + l o g 𝛿 𝐽 ⟶ ℎ (𝑋) (𝐽 \to \infty)

である．

仮定は，密度が有界閉区間 $[𝑎, 𝑏]$ の外で $0$ になることを求めている．例 7.1.4 の指数分布も，7.2 節で扱うガウス分布もこれを満たさないので，定理 7.1.6 はそのままでは当たらない．この仮定を外したときに同じ極限が成り立つかどうかは，本書では扱わない．

証明. はじめに $ℎ (𝑋)$ が定まることを見る．第1章の記号にならって $𝜑 (𝑡) : = - 𝑡 l o g 𝑡$ と書く．第1章が認めたとおり $𝜑$ は $[0, \infty)$ の上で連続だから $𝜑 \circ 𝑓$ は $[𝑎, 𝑏]$ の上で連続で，有界閉区間の上の連続関数はその絶対値も積分できる． $𝑓$ は $[𝑎, 𝑏]$ の外で $0$ で，そこでは $𝜑 (𝑓 (𝑥)) = 𝜑 (0) = 0$ だから， $\int ℝ | 𝑓 l o g 𝑓 | = \int 𝑏 𝑎 | 𝜑 (𝑓 (𝑥)) | 𝑑 𝑥 < \infty$ であり， $ℎ (𝑋) = \int 𝑏 𝑎 𝜑 (𝑓 (𝑥)) 𝑑 𝑥$ である．

$̃ 𝑋 𝐽$ の分布を求める．定義 7.1.1 を $[𝑎, 𝑏]$ に当てると $P r [𝑋 \in [𝑎, 𝑏]] = \int 𝑏 𝑎 𝑓 = 1$ だから， $𝑋 \notin [𝑎, 𝑏]$ は確率 $0$ でしか起きず， $̃ 𝑋 𝐽 = 𝑖$ の確率は $𝑝 𝑖 : = P r [𝑋 \in 𝐼 𝑖]$ に等しい（ $𝑖 = 1$ については確率 $0$ の場合が足されるだけである）．次に $𝑝 𝑖$ を，密度の $1$ 点での値で書き直す． $1$ 点からなる閉区間に定義 7.1.1 を当てると， $𝑋$ がその $1$ 点をとる確率は $0$ である．したがって $𝑝 𝑖$ は， $𝐼 𝑖$ に右端を加えた閉区間 $―― 𝐼 𝑖$ に $𝑋$ が入る確率に等しく，定義 7.1.1 よりそれは $―― 𝐼 𝑖$ の上での $𝑓$ の積分である． $𝑓$ は $―― 𝐼 𝑖$ の上で連続だから，積分の平均値の定理により，ある $𝑡 𝑖 \in ―― 𝐼 𝑖$ について $𝑝 𝑖 = 𝑓 (𝑡 𝑖) 𝛿 𝐽$ が成り立つ．

エントロピーを二つの部分に分ける． $𝑠 > 0$ と $𝑟 \geq 0$ について $𝜑 (𝑠 𝑟) = 𝑠 𝜑 (𝑟) - 𝑠 𝑟 l o g 𝑠$ である（ $𝑟 > 0$ では両辺とも $- 𝑠 𝑟 l o g (𝑠 𝑟)$ を展開したもの， $𝑟 = 0$ では両辺 $0$ ）． $𝑠 = 𝛿 𝐽$ ， $𝑟 = 𝑓 (𝑡 𝑖)$ ととると $𝜑 (𝑝 𝑖) = 𝛿 𝐽 𝜑 (𝑓 (𝑡 𝑖)) - 𝑓 (𝑡 𝑖) 𝛿 𝐽 l o g 𝛿 𝐽$ である． $̃ 𝑋 𝐽$ は ${1, \dots, 𝐽}$ に値をとり $P r [̃ 𝑋 𝐽 = 𝑖] = 𝑝 𝑖$ だから，定義 1.1.1 より

𝐻 (̃ 𝑋 𝐽) = 𝐽 \sum 𝑖 = 1 𝜑 (𝑝 𝑖) = 𝐽 \sum 𝑖 = 1 𝛿 𝐽 𝜑 (𝑓 (𝑡 𝑖)) - l o g 𝛿 𝐽 𝐽 \sum 𝑖 = 1 𝑓 (𝑡 𝑖) 𝛿 𝐽

である． $\sum 𝑖 𝑓 (𝑡 𝑖) 𝛿 𝐽 = \sum 𝑖 𝑝 𝑖 = 1$ だから，移項して

𝐻 (̃ 𝑋 𝐽) + l o g 𝛿 𝐽 = 𝐽 \sum 𝑖 = 1 𝛿 𝐽 𝜑 (𝑓 (𝑡 𝑖))

を得る．

右辺の極限をとる．右辺は， $[𝑎, 𝑏]$ を $𝐽$ 等分して各小区間から点 $𝑡 𝑖$ を選んで作った $𝜑 \circ 𝑓$ のリーマン和にほかならない． $𝜑 \circ 𝑓$ は $[𝑎, 𝑏]$ の上で連続だから，リーマン和の収束により， $𝐽 \to \infty$ でこの和は $\int 𝑏 𝑎 𝜑 (𝑓 (𝑥)) 𝑑 𝑥$ に収束する．はじめに見たとおりこれは $ℎ (𝑋)$ である． $◼$

定理 7.1.6 が，微分エントロピーと離散のエントロピーの関係を与えている． $𝐽$ を大きくすると $𝛿 𝐽 \to 0$ なので $l o g 𝛿 𝐽 \to - \infty$ であり，したがって $𝐻 (̃ 𝑋 𝐽)$ 自身は $+ \infty$ に発散する．実数を無限の精度で読み取れば無限の情報が要る，ということである．微分エントロピーはその発散する部分 $- l o g 𝛿 𝐽$ を差し引いた残りで，精度を上げるたびに機械的に増えるぶんを除いた「散らばりの広さ」だけを測っている．

桁数で読む. 区間の両端 $𝑎$ と $𝑏$ がどちらも $2$ 進の有限小数である場合を，底を $2$ にとって読んでみる．整数 $𝑘$ を十分大きくとれば $𝛿 𝐽 = 2 - 𝑘$ となる $𝐽$ があり，そのとき $𝐼 𝑖$ による分割は， $𝑋$ を小数点以下 $𝑘$ 桁（ $2$ 進）まで切り捨てて読む操作と一致する．定理 7.1.6 をこの $𝐽$ に沿って読むと $𝐻 (̃ 𝑋 𝐽) - 𝑘 \to ℎ (𝑋)$ （ $𝑘 \to \infty$ ）である． $𝑘$ 桁まで読み取った値のエントロピーが， $𝑘$ ビットより $ℎ (𝑋)$ だけ多い値に近づいていく，ということである．各 $𝑘$ で等しくなると言っているのではない． $ℎ (𝑋)$ が負でありうる（例 7.1.3）のは， $𝑘$ 桁の読み取りが $𝑘$ ビットに満たない情報しか運ばない場合があるからである． $𝑋$ が $[0, 1 / 2]$ の上の一様分布に従うときがそれで，例 7.1.3 より $ℎ (𝑋) = - 1$ ビットであり， $𝑘$ 桁まで読み取った値は $2 𝑘 - 1$ 個の値を等しい確率でとるから，そのエントロピーは例 1.1.3 より $𝑘 - 1$ ビットである．

この読み方からは，微分エントロピーを単独で「情報量」と読めない理由も見える． $𝐻 (̃ 𝑋 𝐽)$ 自身は発散し， $ℎ (𝑋)$ は例 7.1.3 のように負にもなる． $ℎ (𝑋)$ が働くのは， $- l o g 𝛿 𝐽$ という共通の項を差し引いたあとの比較としてである．同じ区間 $[𝑎, 𝑏]$ の上で連続でその外で密度が $0$ である二つの確率変数に定理 7.1.6 を当てて引き算すると， $- l o g 𝛿 𝐽$ が打ち消し合い，読み取った値のエントロピーの差が微分エントロピーの差に収束する．7.5 節で相対エントロピーと相互情報量を定義すると，そこには差だけが現れる．離散のときと同じ形の式が，そのまま成り立つことになる．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．