10.3 分配関数と Legendre 双対性

10.2 節は $𝜆$ を与えられたものとして扱い，その Gibbs 分布が制約を満たすならそれが最大化分布である，と示した．そこで分配関数 $𝑍 (𝜆)$ が果たしたのは，重みの総和を 1 にそろえる分母という役割だけだった．本節はこの分母を主役の位置に移す．

移してみると， $𝜆$ の関数としての $𝑍$ に最大エントロピー問題の答えが入っていることが分かる．正確には，その対数 $𝜓 (𝜆) = l o g 𝑍 (𝜆)$ に入っている．最大値そのものが $𝜓 (𝜆) - ⟨ 𝜆, 𝑐 ⟩$ という閉じた式で書け（定理 10.3.3），実行可能な分布のエントロピーはどれもこの式で上から押さえられる（定理 10.3.4）．極限をとる操作も，分布を動かして最大値を探す操作も現れない． $𝜓$ と制約の値 $𝑐$ だけから計算できる量として，最大エントロピーが手に入る．

以下， $X$ は空でない有限アルファベット， $𝑓 1, \dots, 𝑓 𝑘$ はその上の特徴関数， $𝑓 (𝑥) = (𝑓 1 (𝑥), \dots, 𝑓 𝑘 (𝑥))$ ， $⟨ 𝜆, 𝑢 ⟩ = \sum 𝑖 𝜆 𝑖 𝑢 𝑖$ は 10.2 節で置いた記法である．

対数分配関数と指数型分布族

定義 10.3.1（対数分配関数と指数型分布族）. 空でない有限アルファベット $X$ 上の特徴関数 $𝑓 1, \dots, 𝑓 𝑘$ をとり，定義 10.2.1 の分配関数 $𝑍 (𝜆)$ を使って

𝜓 (𝜆) : = l o g 𝑍 (𝜆) (𝜆 \in ℝ 𝑘)

と定める． $𝜓$ を 対数分配関数 と呼ぶ．また， $𝜆 \in ℝ 𝑘$ に対する $X$ 上の関数

𝑥 ⟼ e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩ - 𝜓 (𝜆))

を考え， $𝜆$ が $ℝ 𝑘$ 全体を動くときに得られるこれらの関数の全体を，特徴関数 $𝑓 1, \dots, 𝑓 𝑘$ の定める 指数型分布族 と呼ぶ．

形式化: 対数分配関数 logPartitionψ，指数型分布族の各要素 expFamilyDist (ソース)

指数型分布族の書き方では， $𝜓$ が指数の中に引き算として入っている．定義 10.2.1 のGibbs 分布は同じものを割り算で書いていた．二つは同じ分布である．

命題 10.3.2. $X$ を空でない有限アルファベット， $𝑓 1, \dots, 𝑓 𝑘$ をその上の特徴関数とする．任意の $𝜆 \in ℝ 𝑘$ と任意の $𝑥 \in X$ に対して

e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩ - 𝜓 (𝜆)) = 𝑝 * 𝜆 (𝑥)

が成り立つ．すなわち指数型分布族の各要素は Gibbs 分布であり，逆にどの Gibbs 分布も指数型分布族に属する．

証明. 指数関数の値はつねに正で $X$ は空でないから，定義 10.2.1 の $𝑍 (𝜆)$ は正の数の有限和として正である．よってその対数がとれて $e x p (𝜓 (𝜆)) = 𝑍 (𝜆)$ である．指数関数が差を商に変えることから

e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩ - 𝜓 (𝜆)) = e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩) e x p (𝜓 (𝜆)) = e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩) 𝑍 (𝜆)

となり，右端は定義 10.2.1 の $𝑝 * 𝜆 (𝑥)$ そのものである．後半は， $𝜆$ の動く範囲が両側とも $ℝ 𝑘$ 全体だから，前半の等式から直ちに従う． $◼$

形式化: expFamilyDist_eq_gibbsPmf (ソース)

二つの書き方を使い分ける. 同じ分布に二つの書き方を用意する理由は，それぞれが別のことを見やすくするところにある．割り算の形は，分子が各点の重み・分母がその総和だから，これが分布であること，すなわち非負で総和が 1 であることが目で見える．命題 10.2.2 の証明が1 行で済んだのはこの形のおかげである．引き算の形は $𝜓$ を式の表に出す．両辺の対数をとると

l o g 𝑝 * 𝜆 (𝑥) = ⟨ 𝜆, 𝑓 (𝑥) ⟩ - 𝜓 (𝜆)

となって， $𝜆$ に依る部分が $𝜓 (𝜆)$ という 1 つの数にまとまる．補題 10.2.3の証明が最初にしたのもこの変形だった．本節はこの $𝜓$ を追う．

Legendre 双対性

定理 10.3.3（Legendre 双対性）. $X$ を空でない有限アルファベットとし，特徴関数 $𝑓 1, \dots, 𝑓 𝑘$ と制約の値 $𝑐 = (𝑐 1, \dots, 𝑐 𝑘)$ ，および $𝜆 \in ℝ 𝑘$ をとる．Gibbs 分布 $𝑝 * 𝜆$ がモーメント制約を満たすとする．このとき

𝐻 (𝑝 * 𝜆) = 𝜓 (𝜆) - ⟨ 𝜆, 𝑐 ⟩ .

証明. 補題 10.2.3 を $𝑄 : = 𝑝 * 𝜆$ として使う．左辺は $𝐷 (𝑝 * 𝜆 ‖ 𝑝 * 𝜆)$ であり，定理 1.6.1 の等号条件よりこれは 0 である．右辺に現れる $𝔼 𝑝 * 𝜆 [𝑓]$ は，仮定より $𝑐$ に等しい．したがって

0 = - 𝐻 (𝑝 * 𝜆) - ⟨ 𝜆, 𝑐 ⟩ + l o g 𝑍 (𝜆)

が成り立つ．定義 10.3.1 より $l o g 𝑍 (𝜆) = 𝜓 (𝜆)$ だから，移項すれば主張を得る． $◼$

形式化: entropy_expFamilyDist_eq_legendre (ソース)

形式化上の注記. 形式化では， $𝜆$ とそれが制約を満たすという証拠を 1 つの対にまとめたKKTSolution (InformationTheory/Shannon/MaxEntropy/ConstrainedKKT.lean) を仮定に置いている．本文の「Gibbs 分布 $𝑝 * 𝜆$ がモーメント制約を満たすとする」と同じ内容である．

最大値が計算できる形になった. 定理 10.2.5 は最大値が $𝐻 (𝑝 * 𝜆)$ だと言ったが，その数を知るには $𝑝 * 𝜆$ を各点で書き出して $- \sum 𝑥 𝑝 l o g 𝑝$ を足し上げる必要があった．定理 10.3.3 はその手間を消す． $𝜓 (𝜆)$ を 1 回計算して $⟨ 𝜆, 𝑐 ⟩$ を引けばよい． $X$ 上の和は $𝜓$ の中に 1 度だけ現れる．制約の値 $𝑐$ が結果にどう効くかも，この式なら $- ⟨ 𝜆, 𝑐 ⟩$ という 1 次の項として見える．

証明が使ったのは補題 10.2.3 を 1 回だけである．しかも代入したのは $𝑄 = 𝑝 * 𝜆$ ，すなわち基準に自分自身を入れただけで，隔たりが 0 になる．10.2 節が「基準を実行可能集合の中にとる」という方針から Gibbs 分布を導いたその方針が，ここで値の計算にまで届いたことになる．

変分上界

定理 10.3.4（変分上界）. $X$ を空でない有限アルファベットとし，特徴関数 $𝑓 1, \dots, 𝑓 𝑘$ と制約の値 $𝑐 = (𝑐 1, \dots, 𝑐 𝑘)$ をとる．モーメント制約を満たす任意の分布 $𝑃$ と，任意の $𝜆 \in ℝ 𝑘$ に対して

𝐻 (𝑃) \leq 𝜓 (𝜆) - ⟨ 𝜆, 𝑐 ⟩ .

証明. 補題 10.2.3 を $𝑄 : = 𝑃$ として使うと

𝐷 (𝑃 ∥ 𝑝 * 𝜆) = - 𝐻 (𝑃) - ⟨ 𝜆, 𝔼 𝑃 [𝑓] ⟩ + l o g 𝑍 (𝜆)

である． $𝑃$ はモーメント制約を満たすから各 $𝑖$ で $𝔼 𝑃 [𝑓 𝑖] = 𝑐 𝑖$ ，すなわち $⟨ 𝜆, 𝔼 𝑃 [𝑓] ⟩ = ⟨ 𝜆, 𝑐 ⟩$ である．定理 1.6.1 より左辺は 0 以上だから

0 \leq - 𝐻 (𝑃) - ⟨ 𝜆, 𝑐 ⟩ + 𝜓 (𝜆)

となり，定義 10.3.1 を使って移項すれば主張を得る． $◼$

形式化上の注記. 定理 10.3.4 に対応する単独の宣言はない．名前の近い宣言entropy_le_logPartition_sub_inner (InformationTheory/Shannon/MaxEntropy/ConstrainedKKT.lean) は， $𝜆$ のGibbs 分布もモーメント制約を満たすという仮定を付けた形で述べられていて，本文の主張より弱い． $𝜆$ に何も仮定しない本文の形は，補題 10.2.3 の形式化と相対エントロピーの非負性 klDivPmf_nonneg (InformationTheory/Shannon/CsiszarProjection.lean) の合成で得られる．これは本文の証明がしているのと同じ組み方である．

上界が $𝜆$ ごとに 1 本ずつ立つ. 定理 10.3.4 は $𝜆$ について何も仮定していない． $ℝ 𝑘$ の点を 1 つ選ぶたびに，実行可能集合の上のエントロピー全部にかかる上界が 1 本得られる，というのがこの定理の内容である． $𝜆$ を動かせば上界の束ができる．どの 1 本も無条件に正しいので，どれを選んでも構わない．

定理 10.3.3 が言うのは， $𝑝 * 𝜆$ が制約を満たす $𝜆$ では，その上界が実行可能な分布 1 つ（ $𝑝 * 𝜆$ 自身）のエントロピーにちょうど一致する，ということである．束の中のその 1 本は実行可能集合に触れている．定理 10.2.5 が最大値だと言った $𝐻 (𝑝 * 𝜆)$ が，ここでは上界の束の 1 本として現れていることになる．

二つを 1 本の式にまとめられる．定理 10.3.4 はどの $𝜆$ でも実行可能な分布のエントロピーが $𝜓 (𝜆) - ⟨ 𝜆, 𝑐 ⟩$ 以下だと言い，定理 10.3.3 は制約を満たす $𝜆$ ではその値がちょうど達成されると言っている．だから，制約を満たす $𝜆$ が 1 つでもあれば，実行可能集合の上のエントロピーの最大値は

m i n 𝜆 \in ℝ 𝑘 (𝜓 (𝜆) - ⟨ 𝜆, 𝑐 ⟩)

に等しく，最小はその制約を満たす $𝜆$ で達成される．分布を動かして最大を探す問題が， $𝜆$ を動かして最小を探す問題に置き換わったことになる．制約を満たす $𝜆$ がいつ存在するのかは 10.4 節が扱う．

この掛け替えを，外の文献では Legendre 変換と呼ぶ．凸関数から，傾きを変数にとった別の関数を作る操作のことで，本節の名前（Legendre 双対性）は，その関係が最大エントロピー問題の設定でそのまま成り立っていることを指している．本書が使うのはこの呼び名だけである．

例で確かめる

特徴関数が 1 つで，値が記号そのものである場合を書き下しておく．サイコロの目を 0 から始まるように付け替えた一般形である．

例 10.3.5（線形な特徴関数と等比の形）. $𝑁 \geq 0$ を整数， $X = {0, 1, \dots, 𝑁}$ ， $𝑘 = 1$ とし，特徴関数を $𝑓 1 (𝑥) = 𝑥$ とする．任意の $𝜆 \in ℝ$ に対し $𝑟 : = 𝑒 𝜆$ とおくと，Gibbs 分布は

𝑝 * 𝜆 (𝑥) = 𝑟 𝑥 \sum 𝑁 𝑦 = 0 𝑟 𝑦 (𝑥 = 0, 1, \dots, 𝑁)

と書ける．とくに隣り合う 2 点の確率の比 $𝑝 * 𝜆 (𝑥 + 1) / 𝑝 * 𝜆 (𝑥)$ は $𝑥$ によらず $𝑟$ に等しい．

証明. $𝑘 = 1$ だから $⟨ 𝜆, 𝑓 (𝑥) ⟩ = 𝜆 𝑥$ であり，指数法則により $e x p (𝜆 𝑥) = (𝑒 𝜆) 𝑥 = 𝑟 𝑥$ である．これを定義 10.2.1 の分子と分母に入れると $𝑍 (𝜆) = \sum 𝑁 𝑦 = 0 𝑟 𝑦$ となって，最初の式を得る．比については，命題 10.2.2 より $𝑝 * 𝜆 (𝑥)$ は正だから商がとれて， $𝑝 * 𝜆 (𝑥 + 1) / 𝑝 * 𝜆 (𝑥) = 𝑟 𝑥 + 1 / 𝑟 𝑥 = 𝑟$ である． $◼$

形式化: gibbsPmf_linearFeature_eq_geometric，その特徴関数 linearFeature (ソース)

形式化上の注記. 形式化されているのは等比の形までで，隣り合う 2 点の確率の比についての後半に対応する宣言はない．本節の計算がその保証のすべてである．

サイコロに戻る. 例 10.1.4 のサイコロは目を ${1, \dots, 6}$ と書いた．例 10.3.5 と同じ計算をこのアルファベットの上で繰り返せば，同じ等比の形が出る．10.2 節で数値を求めた $𝜆 = 0.3710 \dots$ に対して比は $𝑟 = 𝑒 𝜆 \approx 1.449$ であり，目 $1$ から目 $6$ まで確率は一定の比で増えていく． $𝜆$ が正なら比は 1 より大きく，大きい目ほど確率が大きい． $𝜆 = 0$ なら比は 1 で一様分布， $𝜆$ が負なら比は 1 より小さい．最大値のほうも定理 10.3.3 で検算できる． $𝜓 (0.3710) - 0.3710 \times 4.5 \approx 1.614$ ナットとなり，10.2 節で各点の確率から足し上げた値と一致する．

形の絞られ方を見ておきたい． ${1, \dots, 6}$ 上の分布は 6 個の数で書けて，総和が 1 という条件で 1 つ減る．制約が言っているのは「平均は $4.5$ 」という 1 つの数だけだから，それを満たす分布はまだ無数にある．それでも探す先は狭い． $e x p$ の形をした分布のうち平均が $4.5$ になるものを 1 つ見つければ，定理 10.2.5 によりそれが最大化分布だと決まるからである．測定 1 つと原則 1 つで，候補が $𝜆$ ただ 1 つで決まる族（等比の形）に絞られる．このサイコロについて，制約に整合する $𝜆$ が実際に存在することは 10.4 節で示す．

本節までの主張はすべて「その $𝜆$ の Gibbs 分布が制約を満たすなら」という条件のもとにある． $𝜓$ を微分すると何が出るかを調べれば，その条件を満たす $𝜆$ がいつ存在するのかが見えてくる．それが 10.4 節である．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．