7.2 ガウス分布の微分エントロピー

例 7.1.3 と例 7.1.4 は，どちらも分布を先に決めて微分エントロピーを計算するものだった．本節が扱うのはその逆向きの問いである．散らばりの大きさをある値に固定したとき，微分エントロピーをいちばん大きくする分布は何か．離散のときの答えは一様分布だった（定理 1.1.5）．そこで散らばりを抑えていたのはアルファベットの大きさ $| X |$ だが，実軸の上ではその役目を果たすものがない．実軸の全体で一定の値をとる関数は，積分が $1$ にならないので定義 7.1.1 の密度になりえないからである．代わりに分散を固定すると，ガウス分布がその最大を与える．何を固定するかは一通りではない．本節が分散を選ぶのは，ガウス通信路の章で扱う，送る信号の電力に制約のかかる通信路のためである．そこで置く制約は送る信号の $2$ 乗の平均を抑えるもので，平均が $0$ の信号では，それが分散を抑えることと同じになる．

本節は，ガウス分布の微分エントロピーが $12 l o g (2 𝜋 𝑒 𝜎 2)$ であることを示し，続いて分散を固定した分布のうちでこれが最大であることを示す．二つめの証明の要は，比べる相手の密度を一つ持ち出して上から抑える，という形の補題である．この補題は 7.4 節と 7.5 節でも同じ形で使う．

借りる道具は二つある．一つめは学部の確率で扱う ガウス分布の基本性質，すなわち「定義 7.2.1 の関数は実軸の上での積分が $1$ であり，それを密度とする確率変数の平均は $𝜇$ ，分散は $𝜎 2$ である」ことである．当てる対象は定義 7.2.1 のガウス分布だけで，依存するのは定理 7.2.2 の証明，定理 7.2.4 の証明，系 7.2.5 の証明，7.5 節の例 7.5.8 の証明，および第8章の命題 8.1.4・定理 8.2.2・系 8.2.3・補題 8.3.3 の証明と，8.2 節が定義 8.2.1 の直後で上限をとる範囲が空でないことを確かめる箇所，8.4 節が球の勘定のために雑音の $2$ 乗和の平均を求める箇所，同じ性質を 9.4 節が確率変数の言葉で借り直している第9章の命題 9.4.4・命題 9.4.6 の証明，および同じ性質をそのまま引いている第16章の系 16.7.6・命題 16.7.8 の証明である（第16章が引くのは，実軸の上での積分が $1$ であることと， $\int ℝ (𝑥 - 𝜇) 2 𝑔 𝜇, 𝜎 2 (𝑥) 𝑑 𝑥 = 𝜎 2$ という形で書いた平均と分散で，射程はここから広がらない）．二つめは 零集合の上での積分，すなわち「非負な関数 $𝑓$ と実数値関数 $𝑢$ について， $\int 𝐴 𝑓 (𝑥) 𝑑 𝑥 = 0$ であり $\int ℝ 𝑛 𝑓 (𝑥) | 𝑢 (𝑥) | 𝑑 𝑥 < \infty$ であるならば $\int 𝐴 𝑓 (𝑥) 𝑢 (𝑥) 𝑑 𝑥 = 0$ である」という積分の事実である．当てる対象は， $𝑓$ が本章に現れる密度で， $𝑢$ が密度から「その密度が正の点でその対数，そのほかの点で $0$ 」として作った関数（ $ℝ 𝑛$ の第 $𝑖$ 成分に当てたものを含む）である場合だけである．依存するのは補題 7.2.3 の証明，7.4 節の補題 7.4.2 の証明，および 7.5 節の定理 7.5.2 の証明である．

ガウス分布の微分エントロピー

定義 7.2.1（ガウス分布）. $𝜇$ を実数， $𝜎 2 > 0$ とする．密度

𝑔 𝜇, 𝜎 2 (𝑥) = 1 \sqrt 2 𝜋 𝜎 2 e x p (- (𝑥 - 𝜇) 2 2 𝜎 2) (𝑥 \in ℝ)

をもつ実数値確率変数の分布を，平均 $𝜇$ ，分散 $𝜎 2$ の ガウス分布（正規分布）といい， $N (𝜇, 𝜎 2)$ と書く．

定理 7.2.2（ガウス分布の微分エントロピー）. $𝜇$ を実数， $𝜎 2 > 0$ とし， $𝑋$ が $N (𝜇, 𝜎 2)$ に従うとする．このとき $ℎ (𝑋)$ は定まり

ℎ (𝑋) = 12 l o g (2 𝜋 𝑒 𝜎 2)

である．

証明. 定義 7.2.1 の密度の対数をとると

- l o g 𝑔 𝜇, 𝜎 2 (𝑥) = 12 l o g (2 𝜋 𝜎 2) + (𝑥 - 𝜇) 2 2 𝜎 2 l o g 𝑒

である．右辺は $(𝑥 - 𝜇) 2$ の $1$ 次式であり，借りたガウス分布の基本性質より $𝔼 [(𝑋 - 𝜇) 2] = 𝜎 2 < \infty$ だから， $| 𝑔 𝜇, 𝜎 2 l o g 𝑔 𝜇, 𝜎 2 |$ の積分は有限で $ℎ (𝑋)$ は定まる．値は，同じ性質から得られる $\int 𝑔 𝜇, 𝜎 2 = 1$ と $\int (𝑥 - 𝜇) 2 𝑔 𝜇, 𝜎 2 (𝑥) 𝑑 𝑥 = 𝜎 2$ を使って

ℎ (𝑋) = \int ℝ 𝑔 𝜇, 𝜎 2 (𝑥) (- l o g 𝑔 𝜇, 𝜎 2 (𝑥)) 𝑑 𝑥 = 12 l o g (2 𝜋 𝜎 2) + l o g 𝑒 2 𝜎 2 𝜎 2

となる．右辺は $12 l o g (2 𝜋 𝜎 2) + 12 l o g 𝑒 = 12 l o g (2 𝜋 𝑒 𝜎 2)$ である． $◼$

形式化: differentialEntropy_gaussianReal，標準ガウス分布の場合 differentialEntropy_gaussianReal_std，「定まる」にあたる積分可能性 integrable_density_log_density_of_gaussian (ソース)

値が平均 $𝜇$ によらないのが目につく．ガウス分布の形は $𝜇$ で左右に動くだけで幅が変わらないから，散らばりの広さを測る量は動かない．平行移動で微分エントロピーが変わらないことは，ガウス分布に限らず成り立つ（命題 7.3.2）．一方 $𝜎 2$ には依存していて， $𝜎$ を $2$ 倍すると $ℎ$ は $l o g 2$ だけ増える．例 7.1.3 の一様分布で幅を $2$ 倍したときと同じ増え方である． $𝜎 2 = 1 / (2 𝜋 𝑒)$ ，すなわち $𝜎 2 \approx 0.05855$ のとき $ℎ (𝑋) = 0$ になり，それより分散が小さければ $ℎ (𝑋) < 0$ である．底を $2$ にとると $N (0, 1)$ の微分エントロピーは $12 l o g 2 (2 𝜋 𝑒) \approx 2.0471$ ビットである．7.1 節の幅の読みに乗せれば $2 ℎ (𝑋) = \sqrt 2 𝜋 𝑒 𝜎$ で，標準偏差のおよそ $4.13$ 倍がこの分布の実効的な幅にあたる．一様分布の幅，指数分布の平均の $𝑒$ 倍と，同じ物差しの上に並ぶ．

分散を固定したときの最大性

比べる相手の密度による上界を，先に用意する．相手の密度 $𝑞$ を一つ選ぶごとに $- \int 𝑓 l o g 𝑞$ という数が決まり，それが $ℎ (𝑋)$ を上から抑える，という形の補題である．どの $𝑞$ を選ぶかはこちらの自由なので，計算しやすい $𝑞$ を選べば，その値がそのまま $ℎ (𝑋)$ の上界になる．

補題 7.2.3（比べる相手の密度による上界）. $𝑛 \geq 1$ とし， $𝑋$ を $ℝ 𝑛$ に値をとり密度 $𝑓$ をもつ確率変数， $𝑞$ を $ℝ 𝑛$ 上の密度とする． $𝑆 : = {𝑥 \in ℝ 𝑛 : 𝑓 (𝑥) > 0 かつ 𝑞 (𝑥) > 0}$ とおく． $\int 𝑆 𝑓 (𝑥) 𝑑 𝑥 = 1$ であり， $ℎ (𝑋)$ が定まり， $\int 𝑆 𝑓 (𝑥) | l o g 𝑞 (𝑥) | 𝑑 𝑥 < \infty$ であるならば

ℎ (𝑋) \leq - \int 𝑆 𝑓 (𝑥) l o g 𝑞 (𝑥) 𝑑 𝑥

である．

証明. $𝑆$ の各点で $𝑓 (𝑥) > 0$ かつ $𝑞 (𝑥) > 0$ だから，補題 1.1.7 の対数不等式 $l o g 𝑡 \leq (𝑡 - 1) l o g 𝑒$ を $𝑡 = 𝑞 (𝑥) / 𝑓 (𝑥)$ に当てられて

𝑓 (𝑥) l o g 𝑞 (𝑥) 𝑓 (𝑥) \leq 𝑓 (𝑥) (𝑞 (𝑥) 𝑓 (𝑥) - 1) l o g 𝑒 = (𝑞 (𝑥) - 𝑓 (𝑥)) l o g 𝑒

が成り立つ．

両辺を $𝑆$ の上で積分する．左辺の被積分関数は $𝑓 l o g 𝑞 - 𝑓 l o g 𝑓$ と分かれ，前者の絶対値の積分は仮定より有限，後者の絶対値の積分は $ℎ (𝑋)$ が定まることから有限だから，左辺の積分は絶対収束して $\int 𝑆 𝑓 l o g 𝑞 - \int 𝑆 𝑓 l o g 𝑓$ に等しい．右辺の積分は， $𝑞$ が密度だから $\int 𝑆 𝑞 \leq 1$ であり，仮定より $\int 𝑆 𝑓 = 1$ で， $l o g 𝑒 > 0$ なので， $0$ 以下である．よって

\int 𝑆 𝑓 (𝑥) l o g 𝑞 (𝑥) 𝑑 𝑥 - \int 𝑆 𝑓 (𝑥) l o g 𝑓 (𝑥) 𝑑 𝑥 \leq 0

である．

左辺の第 2 項を $ℎ (𝑋)$ に直す． $𝑆$ の外では $𝑓 (𝑥) = 0$ か $𝑞 (𝑥) = 0$ のどちらかであり， $𝑓 (𝑥) = 0$ の点では $𝑓 l o g 𝑓 = 0$ である．残る「 $𝑓 (𝑥) > 0$ かつ $𝑞 (𝑥) = 0$ 」の点の全体を $𝑁$ とすると， $\int 𝑁 𝑓 = \int ℝ 𝑛 𝑓 - \int 𝑆 𝑓 = 0$ である．借りた零集合の上での積分を， $𝑓$ と「 $𝑓 > 0$ の点で $l o g 𝑓$ ，そのほかの点で $0$ 」という関数に当てると $\int 𝑁 𝑓 l o g 𝑓 = 0$ である．よって $\int 𝑆 𝑓 l o g 𝑓 = \int ℝ 𝑛 𝑓 l o g 𝑓 = - ℎ (𝑋)$ であり，上の不等式は $\int 𝑆 𝑓 l o g 𝑞 + ℎ (𝑋) \leq 0$ となる．移項すれば主張を得る． $◻$

形式化上の注記. $𝑛 = 1$ の場合の補題 7.2.3 は，differentialEntropy_le_cross_entropy (InformationTheory/Shannon/EPI/InfiniteVariance/Truncation/Construction.lean) が単独で検証している．仮定は本文と一つずつ対応していて， $𝑋$ の分布が Lebesgue 測度について絶対連続であることが「 $𝑋$ が密度 $𝑓$ をもつ」に，比べる相手の分布についての同じ絶対連続性が「 $𝑞$ が密度である」に， $𝑋$ の分布が比べる相手の分布について絶対連続であることが $\int 𝑆 𝑓 = 1$ に，密度に $- 𝑡 l o g 𝑡$ を合成したものが積分できることが「 $ℎ (𝑋)$ が定まる」に，比べる相手の対数密度が $𝑋$ の分布について積分できることが $\int 𝑆 𝑓 | l o g 𝑞 | < \infty$ にあたる．一般の $𝑛$ に対応する単独の宣言はない．

補題 7.2.3 が言っているのは，仮定を満たす $𝑞$ をどう選んでも $- \int 𝑆 𝑓 l o g 𝑞$ は $ℎ (𝑋)$ を下回れない，ということである． $𝑞$ に課したのは $\int 𝑆 𝑓 = 1$ と $\int 𝑆 𝑓 | l o g 𝑞 | < \infty$ の二つである． $𝑞$ として $𝑓$ 自身をとればどちらも成り立ち，両辺は等しくなるので， $ℎ (𝑋)$ はこの量が届きうる下端にあたる．離散のときに 1.6 節で見た「思い込んで符号化したときの平均符号長」という読み方は，そのままの形では通らない． $- \int 𝑆 𝑓 l o g 𝑞$ も $ℎ (𝑋)$ も負になりうるので（例 7.1.3），どちらも符号長として読めないからである．読み方が戻るのは二つの差のほうで，そこは 7.5 節で扱う． $𝑛$ を一般にとってあるのは，7.4 節と 7.5 節でも同じ補題を使うからである．

仮定 $\int 𝑆 𝑓 = 1$ は， $𝑞$ が $0$ になる点に $𝑓$ が確率を置いていない，ということである．これが外れると不等式は破れる． $𝑓$ を長さ $2$ の区間の上の一様分布の密度， $𝑞$ をその区間の左半分の上の一様分布の密度にとると， $𝑆$ は左半分で $\int 𝑆 𝑓 = 1 / 2$ である．このとき例 7.1.3 より $ℎ (𝑋) = l o g 2 > 0$ だが， $𝑞$ は $𝑆$ の上で値 $1$ をとるので $- \int 𝑆 𝑓 l o g 𝑞 = 0$ であり， $ℎ (𝑋) \leq - \int 𝑆 𝑓 l o g 𝑞$ は成り立たない．

定理 7.2.4（ガウス分布の最大エントロピー性）. $𝜎 2 > 0$ とし， $𝑋$ を密度をもつ実数値確率変数とする． $ℎ (𝑋)$ が定まり， $𝑋$ が平均をもち，その分散が定まって $𝜎 2$ 以下であるならば

ℎ (𝑋) \leq 12 l o g (2 𝜋 𝑒 𝜎 2)

である．

証明. $𝑋$ の密度を $𝑓$ ，平均を $𝜇 : = 𝔼 [𝑋]$ とし，補題 7.2.3 を $𝑞 : = 𝑔 𝜇, 𝜎 2$ （定義 7.2.1）ととって当てる．比べる相手の平均を $𝑋$ の平均に合わせるのは，こちらで選べる設定である．

補題 7.2.3 の仮定を確かめる．借りたガウス分布の基本性質より $𝑔 𝜇, 𝜎 2$ は $ℝ$ 上の密度である．これは実軸のすべての点で正だから $𝑆 = {𝑥 : 𝑓 (𝑥) > 0}$ であり， $\int 𝑆 𝑓 = \int ℝ 𝑓 = 1$ である．また定義 7.2.1 の密度の対数をとると $- l o g 𝑔 𝜇, 𝜎 2 (𝑥) = 12 l o g (2 𝜋 𝜎 2) + (𝑥 - 𝜇) 2 2 𝜎 2 l o g 𝑒$ であり，これは $(𝑥 - 𝜇) 2$ の $1$ 次式で，仮定より $𝔼 [(𝑋 - 𝜇) 2]$ は有限だから，7.1 節で借りた期待値の積分表示より $\int 𝑆 𝑓 | l o g 𝑔 𝜇, 𝜎 2 | < \infty$ である．

補題 7.2.3 を当てる． $𝑆$ の外では $𝑓 = 0$ なので $\int 𝑆 𝑓 l o g 𝑔 𝜇, 𝜎 2 = \int ℝ 𝑓 l o g 𝑔 𝜇, 𝜎 2$ であり

ℎ (𝑋) \leq - \int ℝ 𝑓 (𝑥) l o g 𝑔 𝜇, 𝜎 2 (𝑥) 𝑑 𝑥 = 12 l o g (2 𝜋 𝜎 2) + l o g 𝑒 2 𝜎 2 𝔼 [(𝑋 - 𝜇) 2]

を得る． $𝔼 [(𝑋 - 𝜇) 2]$ は $𝑋$ の分散で，仮定より $𝜎 2$ 以下だから，右辺は $12 l o g (2 𝜋 𝜎 2) + 12 l o g 𝑒 = 12 l o g (2 𝜋 𝑒 𝜎 2)$ 以下である． $◼$

形式化: differentialEntropy_le_gaussian_of_variance_le (ソース)

形式化上の注記. 形式化の仮定は四つある．分布が Lebesgue 測度について絶対連続であることが本文の「密度をもつ」に，密度に $- 𝑡 l o g 𝑡$ を合成したものが積分できることが「 $ℎ (𝑋)$ が定まる」に，ある中心からの $2$ 乗が積分できてその積分が $𝜎 2$ 以下であることが「分散が定まって $𝜎 2$ 以下である」にあたり，四つめはその中心が $𝑋$ の平均に等しいことで，これが「 $𝑋$ が平均をもち」にあたる．本文が借りたガウス分布の基本性質のうち，分散が $𝜎 2$ であることは gaussianReal_variance_eq (InformationTheory/Shannon/DifferentialEntropy.lean) として形式化されている．

系 7.2.5. $𝜇$ を実数， $𝜎 2 > 0$ とし， $𝑋$ が $N (𝜇, 𝜎 2)$ に従うとする．このとき $𝑋$ は定理 7.2.4 の仮定を満たし，その不等式は等号で成り立つ．

証明. 借りたガウス分布の基本性質より $𝑋$ の平均は $𝜇$ ，分散は $𝜎 2$ であり，定理 7.2.2 より $ℎ (𝑋)$ は定まる．よって定理 7.2.4 の仮定を満たす．その値は定理 7.2.2 より $12 l o g (2 𝜋 𝑒 𝜎 2)$ で，定理 7.2.4 の右辺に等しい． $◼$

系 7.2.5 は，定理 7.2.4 の上界が達成されることを言っている．その逆向き，すなわち定理 7.2.4 で等号が成り立つのは分散がちょうど $𝜎 2$ のガウス分布に限る，ということを本書は述べない．仮定が分散 $𝜎 2$ 以下なので，等号を言うには分散がちょうど $𝜎 2$ であることまで込みで言うことになる．密度どうしの一致は，確率 $0$ の集合の上での食い違いを許す形でしか言えず，そこを正確に述べるには測度論が要るからである．定理 7.2.4 のこの等号条件は形式化もされていない．

定理 7.2.4 は，離散のときの定理 1.1.5 に対応する主張である．どちらも散らばりの大きさを固定してエントロピーの最大を求めているが，何を固定するかが違う．離散ではとりうる値の個数を固定し，最大を与えたのは一様分布だった．実軸の上では分散を固定し，ガウス分布がその最大を与える．ガウス分布が出てくる理由は，補題 7.2.3 の使い方にある．上界 $- \int 𝑆 𝑓 l o g 𝑞$ は， $- l o g 𝑞$ が固定した量の $1$ 次式であれば，その固定した量の平均だけで決まる．定義 7.2.1 の密度はまさにそういう $𝑞$ で， $- l o g 𝑔 𝜇, 𝜎 2 (𝑥)$ が $(𝑥 - 𝜇) 2$ の $1$ 次式だから，上界は $𝑋$ の分散だけで決まり，分散を $𝜎 2$ 以下に固定したどの分布も同じ一つの値で抑えられる．しかも $𝑔 𝜇, 𝜎 2$ 自身がその固定を満たすので，抑えた値がそのまま達成される（系 7.2.5）．離散での「いちばん平らな分布が最大にする」という読み方は，ここには持ち込めない．ガウス分布の密度は平らではないし，実軸の上に平らな密度が置けないことが本節の出発点だった．固定するものを変えれば最大を与える分布も変わり，制約を与えたときにどの分布がエントロピーを最大にするかを，有限アルファベットの上で一般に扱うのが第10章である．

例 7.2.6（同じ分散をもつ一様分布との比較）. $𝜎 > 0$ とする．長さ $\sqrt 12 𝜎$ の区間の上の一様分布は分散が $𝜎 2$ であり，その微分エントロピーは $12 l o g (12 𝜎 2)$ である．これは，どの実数 $𝜇$ についても $N (𝜇, 𝜎 2)$ の微分エントロピーより $12 l o g 𝜋 𝑒 6$ だけ小さく，底を $2$ にとればこの差は約 $0.2546$ ビットである．

証明. $𝑤 > 0$ とし，長さ $𝑤$ の区間の上の一様分布の分散を求める．区間を平行移動すると平均も同じだけ動くので，分散は変わらない．そこで区間を $[- 𝑤 / 2, 𝑤 / 2]$ にとってよく，そのとき平均は $0$ で，密度は区間の上で $1 / 𝑤$ だから，7.1 節で借りた期待値の積分表示より分散は

\int 𝑤 / 2 - 𝑤 / 2 𝑥 2 \cdot 1 𝑤 𝑑 𝑥 = 1 𝑤 \cdot 23 (𝑤 2) 3 = 𝑤 2 12

である．これが $𝜎 2$ に等しいのは $𝑤 = \sqrt 12 𝜎$ のときで，そのとき例 7.1.3 より微分エントロピーは $l o g (\sqrt 12 𝜎) = 12 l o g (12 𝜎 2)$ である．

差をとる．定理 7.2.2 より

12 l o g (2 𝜋 𝑒 𝜎 2) - 12 l o g (12 𝜎 2) = 12 l o g 2 𝜋 𝑒 12 = 12 l o g 𝜋 𝑒 6

であり， $𝜋 𝑒 / 6 = 1.4232 \dots > 1$ だからこの値は正である．底を $2$ にとると $12 l o g 2 1.4232 \dots = 0.2546 \dots$ である． $◼$

例 7.2.6 は定理 7.2.4 の一つの実例である．分散という一つの数だけをそろえて比べると，実軸の全体に裾を引くガウス分布のほうが，有限の区間に押し込めた一様分布より広がっている．差が $𝜎$ によらない定数になる理由は次節でわかる．どちらの分布も $𝜎$ を掛けて作れるので，掛け算のぶんだけ微分エントロピーが同じだけ増えるからである（命題 7.3.3）．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．