10.1 最大エントロピー問題

第1章はエントロピーを分布の不確かさの尺度として立て，定理 1.1.5 でその最大値を求めた．すなわち，アルファベットの大きさしか分かっていないとき，いちばん不確かなのは一様分布である．だが分布について分かっていることが，それだけとは限らない．サイコロの目の平均が測定で分かっている，粒子の平均エネルギーが分かっている，文書の中で母音が占める割合だけが分かっている．こうした部分的な知識をもって，では分布そのものを何と定めればよいか．

候補は無数にある．目の平均が $4.5$ である分布は 1 つではないからである．そこで選び方の原則を一つ置く．知っていることは反映し，知らないことは決めつけない．測定が言っているのは平均が $4.5$ だということだけで，それ以上は何も言っていない．にもかかわらず「 $1$ の目は出ない」と決めた分布を選べば，測定が支持していない主張を勝手に足したことになる．逆に，条件を満たす分布のうちもっとも不確かなものを選べば，条件が強いること以外は何も決めつけていない．この選び方を定式化したのが，本章の最大エントロピー問題である．

本章では $l o g$ の底を自然対数にとる．以下で主役になる分布は $e x p$ で書かれた形をしており， $l o g$ と $e x p$ が互いに逆でなければ本章の恒等式が閉じないからである．単位はナットで，ビットで読みたいときは $l o g 2 \approx 0.693$ で割る．アルファベット $X$ は空でない有限集合とし，その上の分布，すなわち各点に非負の値を与えて総和が 1 になる関数を，一般には大文字 $𝑃$ ， $𝑄$ で書き，あとで主役になる特定の分布だけを小文字に星印を付けて書く．

形式化上の注記（本章共通）. 形式化も $l o g$ を自然対数にとるので，本章は本文と形式化で単位が一致する．

命題 10.1.2 の形式化は確率変数の像測度に対して述べられており，10.2 節以降が紐付ける宣言はアルファベット上の関数としての分布に対して述べられている．相対エントロピーも，前者は測度に対する形，後者は pmf に対する形で，単独の宣言としては別のものである．

制約と実行可能集合

定義 10.1.1（モーメント制約と実行可能集合）. 空でない有限アルファベット $X$ 上の実数値関数 $𝑓 1, \dots, 𝑓 𝑘$ （ $𝑘 \geq 0$ ）を特徴関数（feature function），実数 $𝑐 1, \dots, 𝑐 𝑘$ をその制約の値と呼ぶ． $X$ 上の分布 $𝑃$ が モーメント制約 を満たすとは，

𝔼 𝑃 [𝑓 𝑖] : = \sum 𝑥 \in X 𝑃 (𝑥) 𝑓 𝑖 (𝑥) = 𝑐 𝑖 (𝑖 = 1, \dots, 𝑘)

がすべての $𝑖$ で成り立つことをいう．モーメント制約を満たす分布を 実行可能 と呼び，実行可能な分布全体の集合を 実行可能集合 という．実行可能集合の上で $𝐻$ を最大にする分布を求める問題を，最大エントロピー問題 という．

制約は $𝑃$ について線形である． $𝔼 𝑃 [𝑓 𝑖]$ は値の並び $(𝑃 (𝑥)) 𝑥 \in X$ の一次結合だから， $𝑖$ 番目の制約は分布全体のなす集合を超平面で切る（ $𝑓 𝑖$ が恒等的に 0 で $𝑐 𝑖 \neq 0$ という退化した場合だけは，切り口が空になる）．実行可能集合はその $𝑘$ 枚の切り口の共通部分であり， $𝑘 = 0$ （制約を何も課さない場合）なら分布全体そのものである．何を知っているかは特徴関数の選び方に入る． $𝑘 = 1$ で $𝑓 1 (𝑥) = 𝑥$ なら平均を知っていることになり， $𝑓 2 (𝑥) = 𝑥 2$ を足せば 2 次モーメントまで，ある部分集合の指示関数をとればその部分集合の確率を知っていることになる．

形式化上の注記. 定義 10.1.1 の実行可能集合を名指す宣言はない．モーメント制約は，形式化では定理 10.2.5 と定理 10.2.6 の仮定として直接現れる．

一様分布からの隔たりとして読む

命題 10.1.2. $X$ を空でない有限アルファベット， $𝑀 : = | X |$ とし， $𝑈$ を $X$ 上の一様分布とする． $X$ 上の任意の分布 $𝑃$ に対して

𝐷 (𝑃 ‖ 𝑈) = l o g 𝑀 - 𝐻 (𝑃) .

証明. $𝑈 (𝑥) = 1 / 𝑀$ はすべての $𝑥$ で正だから，1.6 節の相対エントロピーの和はどの項も有限で，

𝐷 (𝑃 ‖ 𝑈) = \sum 𝑥 𝑃 (𝑥) l o g 𝑃 (𝑥) 1 / 𝑀 = \sum 𝑥 𝑃 (𝑥) l o g 𝑃 (𝑥) + l o g 𝑀 \sum 𝑥 𝑃 (𝑥)

と 2 つの和に分けられる（ $𝑃 (𝑥) = 0$ の項はどちらの形でも 0 なので，分け方に注意は要らない）．第 1 の和は定義 1.1.1 より $- 𝐻 (𝑃)$ ，第 2 の和は $\sum 𝑥 𝑃 (𝑥) = 1$ より $l o g 𝑀$ である． $◼$

形式化: klDiv_uniformOn_univ_toReal_eq (ソース)

この恒等式が本章の全体を貫く読み替えを与える． $l o g 𝑀$ は $𝑃$ に依らない定数だから， $𝐻 (𝑃)$ を大きくすることと $𝐷 (𝑃 ‖ 𝑈)$ を小さくすることは，同じ一つのことである．エントロピーが最大の分布とは，一様分布からの隔たりがもっとも小さい分布にほかならない．1.6 節が情報不等式から定理 1.1.5 を再現してみせたのも，この恒等式に $𝐷 (𝑃 ‖ 𝑈) \geq 0$ を当てただけだった．等式そのものはそこで一度使っている．本章ではこれが出発点になる．

系 10.1.3. $X$ を空でない有限アルファベット， $𝑈$ をその上の一様分布とする．特徴関数 $𝑓 1, \dots, 𝑓 𝑘$ と制約の値 $𝑐 1, \dots, 𝑐 𝑘$ の定める実行可能集合を $F$ と書く． $F$ に属する分布 $𝑃$ について，次の二つは同値である．

任意の $𝑄 \in F$ に対して $𝐻 (𝑄) \leq 𝐻 (𝑃)$ である．
任意の $𝑄 \in F$ に対して $𝐷 (𝑃 ‖ 𝑈) \leq 𝐷 (𝑄 ‖ 𝑈)$ である．

証明. $𝑀 : = | X |$ とおく． $F$ の 2 元 $𝑃, 𝑄$ をとり，命題 10.1.2 をそれぞれに当てると $𝐷 (𝑃 ‖ 𝑈) = l o g 𝑀 - 𝐻 (𝑃)$ ， $𝐷 (𝑄 ‖ 𝑈) = l o g 𝑀 - 𝐻 (𝑄)$ だから

𝐷 (𝑄 ‖ 𝑈) - 𝐷 (𝑃 ‖ 𝑈) = 𝐻 (𝑃) - 𝐻 (𝑄)

が成り立つ．左辺が 0 以上であることと右辺が 0 以上であることは同じであり，これは $𝐷 (𝑃 ‖ 𝑈) \leq 𝐷 (𝑄 ‖ 𝑈)$ と $𝐻 (𝑄) \leq 𝐻 (𝑃)$ が同値だということである． $𝑄$ を $F$ 全体で動かせば，1 と 2 の同値を得る． $◼$

形式化上の注記. 系 10.1.3 に対応する単独の宣言はない．命題 10.1.2 の形式化を 2 つの分布で使い，差をとった形になる．

基準を取り替える. この読み替えの値打ちは，基準にとる分布を取り替えられるところにある．一様分布は，制約が何もないときの「何も決めつけていない分布」だった．だが制約があるとき一様分布が実行可能とは限らない．例 10.1.4 がまさにそうである．一様分布が実行可能でなければ，実行可能集合の外から隔たりを測っていることになる．もし基準を実行可能集合の中の分布に取り替えてもこの読み替えが生き延びるなら，隔たりが 0 になる点（基準そのもの）がそのまま最大化子になり，問題は「基準をどう選ぶか」に移る．どんな分布ならそれが本当に言えるのかが 10.2 節の主題であり，命題 10.1.2 はその特別な場合，制約が空で基準が一様分布である場合にあたる．

解きたい問題

例 10.1.4（平均の分かったサイコロ）. $X = {1, 2, 3, 4, 5, 6}$ ， $𝑘 = 1$ ， $𝑓 1 (𝑥) = 𝑥$ ， $𝑐 1 = 4.5$ とする．すなわち「目の平均が $4.5$ である」という制約を 1 つだけ課す．このとき実行可能集合は空ではなく，一様分布を含まない．さらに実行可能な分布 $𝑃$ はすべて $𝐻 (𝑃) < l o g 6$ を満たす．

証明. 目 $4$ と目 $5$ に確率 $1 / 2$ ずつを置いた分布は平均が $4.5$ だから，実行可能集合は空でない．いっぽう一様分布の平均は $(1 + 2 + \dots + 6) / 6 = 3.5$ で $4.5$ と異なるので，一様分布は実行可能でない．最後に $𝑃$ を実行可能な分布とすると，定理 1.1.5 より $𝐻 (𝑃) \leq l o g 6$ であり，その等号が成り立つのは $𝑃$ が一様分布のときに限る． $𝑃$ は一様分布ではないので，不等号は狭義である． $◼$

形式化上の注記. 例 10.1.4 に対応する宣言は形式化されていない．本節の計算がその保証のすべてである．

制約が実際に効いていることが，この二つの事実に出ている．どの実行可能な分布も $l o g 6 \approx 1.792$ ナット（ $\approx 2.585$ ビット）には届かない．では実際にどこまで行けるのか．つまり，上限が真に下がっているのか，下がるとしてどこまでか．実行可能集合は無限個の分布を含むので，しらみつぶしにはできない．10.2 節がこの問いに閉じた答えを与える．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．