16.8 Stam の不等式とエントロピーべき不等式

16.7 節 で借りた de Bruijn の恒等式は，独立なガウス雑音を足していったときの微分エントロピーの増え方を Fisher 情報量で書いた．増え方が Fisher 情報量で書けるなら，Fisher 情報量の側で成り立つ不等式は，積分して微分エントロピーの側の不等式に移せる．その Fisher 情報量の側の不等式が Stam の不等式で，移した先がエントロピーべき不等式である．本節は二つを借り，借りたほうから何が出るかを見る．

和の Fisher 情報量やエントロピーべきを書くには，和が密度をもつことが要る．そこで 独立な和の密度 を借りる．独立な実数値確率変数𝑋，𝑌がそれぞれ密度𝑓，𝑔（定義 7.1.1）をもつとき，𝑋 +𝑌は密度をもち，その一つは𝑧 ↦∫ℝ𝑓(𝑥) 𝑔(𝑧 −𝑥) 𝑑𝑥である，という学部の確率で扱う事実である．当てる対象は，本節に現れる独立な二つの実数値確率変数の和だけである．依存するのは，本節が借りる二つの不等式の主張と，例 16.8.2 の証明である．

Stam の不等式 を借りる．独立な実数値確率変数𝑋，𝑌について𝐽(𝑋)，𝐽(𝑌)，𝐽(𝑋 +𝑌)（定義 16.7.7）がいずれも定まって正であるならば

1𝐽(𝑋+𝑌)≥1𝐽(𝑋)+1𝐽(𝑌)

である，という不等式である．当てる対象は，本節がエントロピーべき不等式の出どころを述べる筋書きの中の，独立な二つの実数値確率変数とその和だけである．本書のどの主張の証明もこれを使わない．次に借りる不等式がどこから来るかを述べるために置く．

Stam の不等式は，1/𝐽という量が独立な和で足し算以上になると言っている．de Bruijn の恒等式に沿ってこれを積分する道筋が知られていて，その先に出てくるのが，微分エントロピーを指数に持ち上げた量についての同じ形の不等式である．本書はその積分の段を用意していないので，出てくる結論のほうを借りる．

エントロピーべき不等式（Shannon–Stam）を借りる．𝑋，𝑌を独立な実数値確率変数とし，どちらも密度をもつとする（借りた独立な和の密度より𝑋 +𝑌も密度をもつ）．ℎ(𝑋)，ℎ(𝑌)，ℎ(𝑋 +𝑌)（定義 7.1.2）がいずれも定まるならば

𝑁(𝑋+𝑌)≥𝑁(𝑋)+𝑁(𝑌)

である，という不等式である（𝑁は 定義 16.7.1 のエントロピーべきである）．当てる対象は，本節に現れる独立な二つの実数値確率変数だけである．依存するのは 例 16.8.2 と 系 16.8.3 と 系 16.8.4 の三つである．証明を載せないのは，次の理由による．知られている証明は，借りた Stam の不等式を de Bruijn の恒等式に沿って積分するものである．その筋を本書の仮定のもとで通すには，Fisher 情報量が定まって正であることを確かめる段（Stam の不等式はそれを仮定に置くが，エントロピーべき不等式は置いていない）と，借りた de Bruijn の恒等式が課す2乗の平均を用意する段（こちらも本文の仮定にはない）と，積分して両端の極限をとる段の三つが要る．本書はどれも用意していない．

まず，不等号が等号になる場合を見ておく．

ガウス分布でなければ狭義になることがある．例 16.8.2 がそうで，そこでは下界と上界の両方を数で並べられる．上界を出すのに分散が要るので，独立な二つの実数値確率変数の和の分散がそれぞれの分散の和に等しいことを，学部の確率で扱う事実として既知とする．

例 16.8.2 では，下界も上界も等号にならない．下界のほうは 命題 16.8.1 より，独立な二つのガウス分布をとれば等号になる．上界のほうは 系 16.7.6 より，やはりガウス分布で等号になる．一様分布は，どちらの端からも離れたところにいる．

なお，本節が借りた Stam の不等式のほうは，例 16.8.2 の三つの分布には当てられない．定義 16.7.7 は密度が実軸のすべての点で微分可能かつ正であることを求めるのに対し，一様分布の密度も和の密度も区間の外では0だから，𝐽がそもそも定まらない．借りたエントロピーべき不等式のほうは𝐽を使わないので，そちらは当たる．

借りた不等式を微分エントロピーの言葉に戻しておく．

系 16.8.4 は，独立なもう一つの確率変数を足すと微分エントロピーが真に増えると言っている．足す相手が雑音である必要はない．要るのは，独立であることと，どちらも密度をもつことと，三つの微分エントロピーがどれも定まることだけである．狭義になるのは𝑁(𝑌)が必ず正だからで，これは 定義 16.7.1 の作りによる．𝑁(𝑌)はℎ(𝑌)を指数に持ち上げた値だから，𝑌の散らばりがどれだけ小さくても，ℎ(𝑌)がどれだけ小さな負の数でも，0にはならない．増える量そのものは，例 16.7.9 で見たとおり，分散𝜎2のガウス分布に分散𝑡の独立なガウス雑音を足す場合なら12log⁡((𝜎2 +𝑡)/𝜎2)と書けていた．

分散と並べる. 既知とした独立な和の分散より，分散は独立な和でちょうど足し算になる．エントロピーべきは足し算以上にしかならず（借りたエントロピーべき不等式），足し算ちょうどになる場合として 命題 16.8.1 のガウス分布がある．いっぽう 命題 16.7.5 は，エントロピーべきが2𝜋𝑒倍した分散を超えないと言い，系 16.7.6 はガウス分布でその二つが一致すると言う．二つの量は，ガウス分布のところで値も足し算のふるまいも重なり，そこから離れると𝑁のほうが小さくなる余地をもつ．例 16.8.2 の2 <𝑒 <𝜋𝑒/3は，その余地が実際に空いている一つの場合である．

並べた二つの不等式のうち，借りたのは足し算以上になるほうだけである．実軸側，すなわち 16.7 節 と本節で，借りたエントロピーべき不等式に乗る主張を別にして不等号を作ったのは，上から押さえるほうの 命題 16.7.5 だけで，これは 定理 7.2.4 を通って 補題 7.2.3 に戻り，そこで当てる 補題 1.1.7 の対数不等式を，第1章 1.1 節 はlogの狭義凹性から接線として出していた．離散側と行列も同じところに戻る．𝑛個の変数の族についての Han の不等式も，有限集合の影の大きさについての Loomis–Whitney の不等式も，超立方体の辺等周不等式も，正定値行列の行列式についての不等式も，証明をたどると，名前で借りた定理に乗る段を別にして，不等号を作っているのは 1.1 節 が証明した二つの狭義凹性，すなわち 補題 1.1.8 の𝜑(𝑡) = −𝑡log⁡𝑡と 補題 1.1.6 のlogで，当て方はどれも 補題 1.1.9 の形である（Loomis–Whitney だけは，定理 16.3.1 が覆いの回数を減らす段で，命題 1.1.4 の非負性をもう一つ通る）．不等号を出す仕掛けは二つあったが，たどり着く先は同じである．本章が新たに名前で借りて証明を載せなかった定理は，16.6 節 で断ったとおり，どれも無条件の機械検証済みの定理として形式化されていて，de Bruijn の恒等式と独立な和の密度と Stam の不等式の三つだけは，機械検証が本文の借用より狭い．

第1章 1.1 節 は，観測する前の不確かさをどう測るかという問いから始めて，分布だけから決まる一つの数−∑𝑥𝑝(𝑥)log⁡𝑝(𝑥)に行き着き，それを平均驚き量と読んだ．同じ数が，第2章の情報源符号化定理では，情報源をどこまで短く書けるかの限界になり，第5章では，偏りのないオッズの競馬で比例賭けをしたときの資産の増える速さが，log⁡|X|からこの数を引いた残りになり，第6章の通信路符号化定理では，出力の不確かさから雑音のぶんを差し引いた残りの最大として，通信路で誤りなく送れるレートの限界を決め，第13章では，分布を一度も見ない機械が一本の系列に払う記述の長さの，1文字あたりの平均になった．本章では，確率のない有限集合の上に一様分布を置くことで，同じ数についての不等式が，集合の影の大きさと超立方体の辺の本数を数える不等式に化けた．第7章が実数値の確率変数に移した微分エントロピーは，指数に持ち上げれば分散と同じ物差しに載り，ガウス分布では分散の2𝜋𝑒倍にちょうど届いた．

第1章 1.1 節 の問いに答えるなら，こうである．観測する前の不確かさを一つの数で測ると決めたことで，符号の長さも，通信路で送れる量も，資産の増える速さも，記述の長さも，その限界が同じ数で言えた．そしてその数は，確率の出てこない集合の影と超立方体の辺の本数まで数え，実軸に移して指数に持ち上げれば，独立なものを足すと足し算以上になる量として，分散と並んだ．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．