10.2 モーメント制約と Gibbs 分布

10.1 節は最大エントロピー問題を「一様分布からの隔たりを最小にする」問題に読み替えた．だが例 10.1.4 で見たとおり，一様分布は制約を満たすとは限らない．基準を実行可能集合の中にとれれば話は早い．というのも，隔たりが 0 になる分布は基準そのものだから，隔たりの最小化とエントロピーの最大化が実行可能集合の上で同じことでありつづけるなら，基準がそのまま最大化子になるからである．その「ありつづける」ための条件を書き下してみる．

基準の候補を $𝑝 *$ と書き， $X$ 上の分布 $𝑄$ に対する隔たりを 1.6 節の定義から2 つに分けると

𝐷 (𝑄 ‖ 𝑝 *) = \sum 𝑥 𝑄 (𝑥) l o g 𝑄 (𝑥) - \sum 𝑥 𝑄 (𝑥) l o g 𝑝 * (𝑥) = - 𝐻 (𝑄) - \sum 𝑥 𝑄 (𝑥) l o g 𝑝 * (𝑥)

になる（ $𝑝 *$ が全点で正なら，この分け方はいつでもできる）．第 1 項は $𝑄$ のエントロピーそのものである．だから，第 2 項が実行可能な $𝑄$ の上で $𝑄$ に依らないなら，実行可能集合の上で「隔たりを最小にすること」と「エントロピーを最大にすること」がまた同じことになる．制約が抑えているのは $𝔼 𝑄 [𝑓 1], \dots, 𝔼 𝑄 [𝑓 𝑘]$ の値だけだから，第 2 項がこれらだけで書けていればよい．第 2 項は $𝑄$ による平均なので， $l o g 𝑝 * (𝑥)$ が $𝑓 1 (𝑥), \dots, 𝑓 𝑘 (𝑥)$ の一次式でありさえすればそうなる．すなわち定数 $𝜆 1, \dots, 𝜆 𝑘$ と $𝛽$ をとって $l o g 𝑝 * (𝑥) = \sum 𝑖 𝜆 𝑖 𝑓 𝑖 (𝑥) - 𝛽$ ，言い換えれば

𝑝 * (𝑥) \propto e x p (𝑘 \sum 𝑖 = 1 𝜆 𝑖 𝑓 𝑖 (𝑥))

の形であればよい．基準の候補として，以下ではこの形を採る． $𝑘$ 個の実数を並べた $𝜆 = (𝜆 1, \dots, 𝜆 𝑘)$ と $𝑢 = (𝑢 1, \dots, 𝑢 𝑘)$ に対して $⟨ 𝜆, 𝑢 ⟩ : = \sum 𝑘 𝑖 = 1 𝜆 𝑖 𝑢 𝑖$ と書く．

定義

定義 10.2.1（分配関数と Gibbs 分布）. $𝑘$ 個の実数の組 $𝜆$ ， $𝑢$ に対して $⟨ 𝜆, 𝑢 ⟩ : = \sum 𝑘 𝑖 = 1 𝜆 𝑖 𝑢 𝑖$ と書く．空でない有限アルファベット $X$ 上の特徴関数 $𝑓 1, \dots, 𝑓 𝑘$ と $𝜆 \in ℝ 𝑘$ に対し， $𝑓 (𝑥) : = (𝑓 1 (𝑥), \dots, 𝑓 𝑘 (𝑥))$ とおいて

𝑍 (𝜆) : = \sum 𝑦 \in X e x p (⟨ 𝜆, 𝑓 (𝑦) ⟩), 𝑝 * 𝜆 (𝑥) : = e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩) 𝑍 (𝜆)

と定める． $𝑍 (𝜆)$ を 分配関数， $𝑝 * 𝜆$ を Gibbs 分布 と呼ぶ．

形式化: 分配関数 gibbsZ，Gibbs 分布 gibbsPmf (ソース)

Gibbs 分布は，特徴関数の値の一次結合を $e x p$ に通したものを重みにして，総和が 1 になるように割ったものである． $𝜆 𝑖$ が正なら $𝑓 𝑖$ の値が大きい記号ほど重みが大きく，負なら逆になる． $𝜆$ が零ベクトルなら重みはすべて 1 で， $𝑝 * 0$ は一様分布である．分配関数はいまのところ割り算の分母でしかない．ただし $𝜆$ の関数として見ると分布の性質を抱え込んでいて，10.3 節でそれが表に出る．

$𝜆$ の成分の呼び名も決めておく．制約つき最大化を Lagrange の乗数法という古典的な手法で解くと，制約 1 本ごとに乗数という補助の変数が 1 つ現れる． $𝜆$ の成分はその乗数にあたるので，Lagrange 乗数 と呼ぶ．本書が使うのは名前だけで，乗数法そのものは使わない．

ここで念を押しておきたいのは， $𝜆$ が制約から決まっているわけではないことである．定義 10.2.1 はどんな $𝜆 \in ℝ 𝑘$ に対しても分布を 1 つ作るだけで，その分布がモーメント制約を満たすかどうかは何も言っていない．以下の主張はすべて「その $𝜆$ の Gibbs 分布が制約を満たすならば」という条件のもとで述べる．与えられた制約の値 $𝑐$ に対してそのような $𝜆$ が存在するかどうかは別の問題であり，10.4 節の主題である．

命題 10.2.2. $X$ を空でない有限アルファベット， $𝑓 1, \dots, 𝑓 𝑘$ をその上の特徴関数とする．任意の $𝜆 \in ℝ 𝑘$ に対し， $𝑝 * 𝜆$ は $X$ 上の分布であり，すべての $𝑥 \in X$ で $𝑝 * 𝜆 (𝑥) > 0$ である．

証明. 指数関数の値はつねに正だから， $𝑍 (𝜆)$ は正の数の有限和である． $X$ は空でないので項が少なくとも 1 つあり， $𝑍 (𝜆) > 0$ が従う．よって $𝑝 * 𝜆 (𝑥)$ は正の数どうしの商で，正である．総和は

\sum 𝑥 𝑝 * 𝜆 (𝑥) = 1 𝑍 (𝜆) \sum 𝑥 e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩) = 𝑍 (𝜆) 𝑍 (𝜆) = 1

である． $◼$

形式化: 全点で正であること gibbsPmf_pos，分布であること gibbsPmf_mem_stdSimplex (ソース)

全点で正であることは，このあと繰り返し効く．1.6 節で見たとおり，基準の分布が 0 をとる点で比べる分布が正の値をとると相対エントロピーは $+ \infty$ になる． $𝑝 * 𝜆$ を基準にとるかぎりそれは起きず， $𝐷 (𝑄 ‖ 𝑝 * 𝜆)$ はどんな $𝑄$ に対しても有限である．

隔たりを分解する

補題 10.2.3（Gibbs 分布への隔たりの分解）. $X$ を空でない有限アルファベット， $𝑓 1, \dots, 𝑓 𝑘$ をその上の特徴関数とし， $𝜆 \in ℝ 𝑘$ をとる． $X$ 上の任意の分布 $𝑄$ に対して

𝐷 (𝑄 ∥ 𝑝 * 𝜆) = - 𝐻 (𝑄) - ⟨ 𝜆, 𝔼 𝑄 [𝑓] ⟩ + l o g 𝑍 (𝜆)

が成り立つ．ここで特徴関数の平均を並べたものを

𝔼 𝑄 [𝑓] : = (𝔼 𝑄 [𝑓 1], \dots, 𝔼 𝑄 [𝑓 𝑘])

と書いた． $𝑄$ がモーメント制約を満たすことは仮定しない．

証明. 命題 10.2.2 より $𝑝 * 𝜆$ は全点で正だから，その対数がとれて

l o g 𝑝 * 𝜆 (𝑥) = ⟨ 𝜆, 𝑓 (𝑥) ⟩ - l o g 𝑍 (𝜆)

である（商の対数を差に開き， $l o g e x p 𝑡 = 𝑡$ を使った．自然対数をとったのはこの一行のためである）．これを 1.6 節の定義に代入する． $𝑝 * 𝜆$ が全点で正だからどの項も有限で，和を 2 つに分けてよい：

𝐷 (𝑄 ∥ 𝑝 * 𝜆) = \sum 𝑥 𝑄 (𝑥) l o g 𝑄 (𝑥) - \sum 𝑥 𝑄 (𝑥) l o g 𝑝 * 𝜆 (𝑥) .

第 1 の和は定義 1.1.1 より $- 𝐻 (𝑄)$ である．第 2 の和に上の式を入れると

\sum 𝑥 𝑄 (𝑥) (⟨ 𝜆, 𝑓 (𝑥) ⟩ - l o g 𝑍 (𝜆)) = 𝑘 \sum 𝑖 = 1 𝜆 𝑖 \sum 𝑥 𝑄 (𝑥) 𝑓 𝑖 (𝑥) - l o g 𝑍 (𝜆) \sum 𝑥 𝑄 (𝑥)

となり， $\sum 𝑥 𝑄 (𝑥) 𝑓 𝑖 (𝑥) = 𝔼 𝑄 [𝑓 𝑖]$ と $\sum 𝑥 𝑄 (𝑥) = 1$ より，これは $⟨ 𝜆, 𝔼 𝑄 [𝑓] ⟩ - l o g 𝑍 (𝜆)$ に等しい．差をとれば主張の式を得る． $◻$

形式化: klDivPmf_gibbsPmf_eq (ソース)

3 つの項を見分ける. 右辺の 3 項のうち， $l o g 𝑍 (𝜆)$ は $𝑄$ に依らない． $⟨ 𝜆, 𝔼 𝑄 [𝑓] ⟩$ は $𝑄$ に依るが，その依り方が制約の値だけを通っている．というのも， $𝑄$ が実行可能なら $𝔼 𝑄 [𝑓 𝑖] = 𝑐 𝑖$ となり，この項は $⟨ 𝜆, 𝑐 ⟩$ という定数になるからである． $𝑄$ に本当に依るのは $- 𝐻 (𝑄)$ ただ一つである．つまり実行可能な $𝑄$ の上では

𝐷 (𝑄 ∥ 𝑝 * 𝜆) = - 𝐻 (𝑄) + (l o g 𝑍 (𝜆) - ⟨ 𝜆, 𝑐 ⟩)

であり，括弧の中は $𝑄$ に依らない．エントロピーが大きい分布ほど $𝑝 * 𝜆$ に近い，ということである．これは命題 10.1.2 とまったく同じ形をしている．実際， $𝑘 = 0$ ととれば $𝑍 (𝜆) = | X |$ ， $𝑝 * 𝜆$ は一様分布で，補題 10.2.3 は命題 10.1.2そのものになる．基準を一様分布から Gibbs 分布に取り替えても読み替えが生き延びる，というのが補題 10.2.3 の内容である．

系 10.2.4. $X$ を空でない有限アルファベット， $𝑓 1, \dots, 𝑓 𝑘$ を特徴関数， $𝑐 1, \dots, 𝑐 𝑘$ を制約の値とし， $𝜆 \in ℝ 𝑘$ をとる． $X$ 上の分布 $𝑃$ と Gibbs 分布 $𝑝 * 𝜆$ がともにモーメント制約を満たすならば

𝐻 (𝑝 * 𝜆) - 𝐻 (𝑃) = 𝐷 (𝑃 ∥ 𝑝 * 𝜆) .

証明. 補題 10.2.3 を $𝑄 : = 𝑃$ と $𝑄 : = 𝑝 * 𝜆$ の 2 度使う．どちらも実行可能だから $⟨ 𝜆, 𝔼 𝑄 [𝑓] ⟩$ はどちらの場合も $⟨ 𝜆, 𝑐 ⟩$ に等しく，

𝐷 (𝑃 ∥ 𝑝 * 𝜆) = - 𝐻 (𝑃) - ⟨ 𝜆, 𝑐 ⟩ + l o g 𝑍 (𝜆), 𝐷 (𝑝 * 𝜆 ∥ 𝑝 * 𝜆) = - 𝐻 (𝑝 * 𝜆) - ⟨ 𝜆, 𝑐 ⟩ + l o g 𝑍 (𝜆)

となる．定理 1.6.1 の等号条件より $𝐷 (𝑝 * 𝜆 ‖ 𝑝 * 𝜆) = 0$ である．2 つの式の差をとると $⟨ 𝜆, 𝑐 ⟩$ と $l o g 𝑍 (𝜆)$ が消えて， $𝐷 (𝑃 ‖ 𝑝 * 𝜆) = 𝐻 (𝑝 * 𝜆) - 𝐻 (𝑃)$ を得る． $◼$

形式化上の注記. 系 10.2.4 に対応する単独の宣言はない．補題 10.2.3 の形式化を $𝑄 = 𝑃$ と $𝑄 = 𝑝 * 𝜆$ の 2 度使い，自分自身への相対エントロピーが 0 であることと組んだ合成で得られる．その合成は，定理 10.2.5 と定理 10.2.6 が紐付ける宣言の証明の中にある．

ふたつとも実行可能なら，差がそのまま隔たりになる. これが本節の重心である． $𝑝 * 𝜆$ 自身も制約を満たしているとき， $𝑝 * 𝜆$ が実行可能な $𝑃$ をどれだけ上回るかは， $𝑃$ が $𝑝 * 𝜆$ からどれだけ離れているかにちょうど等しい．この形からは，最大性も一意性も，隔たりの性質を読むだけで出てくる．

最大エントロピー定理

定理 10.2.5（最大エントロピー定理）. $X$ を空でない有限アルファベットとし，特徴関数 $𝑓 1, \dots, 𝑓 𝑘$ と制約の値 $𝑐 1, \dots, 𝑐 𝑘$ ，および $𝜆 \in ℝ 𝑘$ をとる．Gibbs 分布 $𝑝 * 𝜆$ がモーメント制約を満たすとする．このとき，モーメント制約を満たす任意の分布 $𝑃$ に対して

𝐻 (𝑃) \leq 𝐻 (𝑝 * 𝜆) .

証明. 系 10.2.4 より $𝐻 (𝑝 * 𝜆) - 𝐻 (𝑃) = 𝐷 (𝑃 ‖ 𝑝 * 𝜆)$ であり，定理 1.6.1 より右辺は 0 以上である． $◼$

形式化: entropy_le_gibbs_of_constraints (ソース)

定理 10.2.6. $X$ を空でない有限アルファベットとし，特徴関数 $𝑓 1, \dots, 𝑓 𝑘$ と制約の値 $𝑐 1, \dots, 𝑐 𝑘$ ，および $𝜆 \in ℝ 𝑘$ をとる．Gibbs 分布 $𝑝 * 𝜆$ がモーメント制約を満たすとする．このとき，モーメント制約を満たす任意の分布 $𝑃$ について， $𝐻 (𝑃) = 𝐻 (𝑝 * 𝜆)$ であることと $𝑃 = 𝑝 * 𝜆$ であることは同値である．

証明. 系 10.2.4 より $𝐻 (𝑝 * 𝜆) - 𝐻 (𝑃) = 𝐷 (𝑃 ‖ 𝑝 * 𝜆)$ だから， $𝐻 (𝑃) = 𝐻 (𝑝 * 𝜆)$ であることは $𝐷 (𝑃 ‖ 𝑝 * 𝜆) = 0$ であることと同じである．定理 1.6.1 の等号条件により，それが起きるのは $𝑃 = 𝑝 * 𝜆$ のとき，かつそのときに限る． $◼$

形式化: entropy_eq_gibbs_iff_of_constraints (ソース)

定理 1.6.1 だけで閉じている. 二つの定理が使ったのは，定理 1.6.1（相対エントロピーの非負性とその等号条件）ただ一つである．凸性も，Lagrange の乗数法も，微分も出てこない．補題 10.2.3 が代数だけで隔たりとエントロピーを結んでしまい，あとは 1.6 節の不等式を当てるだけだからである．制約の個数 $𝑘$ にも，特徴関数の形にも，条件は要らない．

仮定は「 $𝜆$ が制約を満たすこと」である. 二つの定理はどちらも，与えられた $𝜆$ の Gibbs 分布が制約を満たすことを仮定している．これは結論ではなく仮定であり，そのような $𝜆$ が存在するとは主張していない．制約の値を勝手に決めれば，どんな $𝜆$ をとっても $𝑝 * 𝜆$ がそれに合わないことがある．たとえば例 10.1.4 のサイコロで $𝑐 1 = 7$ とすればそもそも実行可能な分布が 1 つもないし， $𝑐 1 = 6$ とすれば実行可能な分布はある（目 $6$ に確率 $1$ ）のに，どの $𝜆$ の Gibbs 分布もそれには合わない．後者がなぜ起きるか，そして $𝜆$ が存在するのはどういうときでいくつあるのかは，10.4 節で扱う．

例で確かめる

例 10.2.7（制約が空のとき）. $𝑘 = 0$ ，すなわち制約を何も課さないとする（特徴関数がすべて恒等的に 0 で，制約の値もすべて 0 なら同じことである）．このとき $𝜆$ が何であっても $𝑍 (𝜆) = | X |$ であり， $𝑝 * 𝜆$ は一様分布で $𝐻 (𝑝 * 𝜆) = l o g | X |$ である．すべての分布が実行可能だから，定理 10.2.5 が与えるのは「 $X$ 上の任意の分布 $𝑃$ について $𝐻 (𝑃) \leq l o g | X |$ 」という主張になる．また， $𝑘$ がいくつであっても， $𝜆$ が零ベクトルなら $𝑝 * 𝜆$ は一様分布である．

証明. $𝑘 = 0$ なら $⟨ 𝜆, 𝑓 (𝑥) ⟩$ は空の和で 0 である（特徴関数がすべて恒等的に0 なら，和の各項が 0 で同じく 0 になる）． $e x p 0 = 1$ だから $𝑍 (𝜆)$ は 1 を $| X |$ 個足したもの，すなわち $| X |$ である．よって $𝑝 * 𝜆 (𝑥) = 1 / | X |$ となり，例 1.1.3 よりそのエントロピーは $l o g | X |$ である．制約が 0 個ならモーメント制約は条件を何も課さないので，実行可能集合は $X$ 上の分布全体である．

最後の主張も同じ 1 行から出る． $𝜆$ が零ベクトルなら， $𝑘$ が何であっても各項 $𝜆 𝑖 𝑓 𝑖 (𝑥)$ が 0 で $⟨ 𝜆, 𝑓 (𝑥) ⟩ = 0$ となり，あとは上とまったく同じである． $◼$

形式化: 一様分布になること gibbsPmf_zero_eq_uniform，そのエントロピーentropy_gibbsPmf_zero_eq_log_card (ソース)

例 10.2.7 が返してきたのは定理 1.1.5 そのものである．制約がないときの最大エントロピー分布は一様分布で，値は $l o g | X |$ である．第1章が $𝜑$ の狭義凹性から帰納法で示したことが，本節の一般論の $𝑘 = 0$ の場合として落ちてくる．

形式化上の注記. 定理 1.1.5 の形式化は確率変数の像測度に対して述べられており，本節が紐付けた宣言はアルファベット上の関数としての分布に対して述べられている．値はどちらも $l o g | X |$ で一致するが，単独の宣言としては別のものである．

例 10.2.8（二値アルファベットと平均の制約）. $X = {0, 1}$ ， $𝑘 = 1$ ， $𝑓 1 (𝑥) = 𝑥$ とし，制約の値を $𝜇 \in (0, 1)$ とする． $𝜆 \in ℝ$ の Gibbs 分布がこの制約を満たすならば $𝑝 * 𝜆 (1) = 𝜇$ ， $𝑝 * 𝜆 (0) = 1 - 𝜇$ であり，

𝐻 (𝑝 * 𝜆) = 𝐻 𝑏 (𝜇)

である（ $𝐻 𝑏$ は例 1.1.2 の二値エントロピー）．しかも，そのような $𝜆$ は実際に存在する． $l o g 𝜇 1 - 𝜇$ がそれである．

証明. $𝑓 1$ は $𝑥 = 1$ で 1， $𝑥 = 0$ で 0 をとるから $𝔼 𝑝 * 𝜆 [𝑓 1] = 𝑝 * 𝜆 (1)$ である．制約はこれが $𝜇$ に等しいと言っているので $𝑝 * 𝜆 (1) = 𝜇$ であり，総和が 1 であることから $𝑝 * 𝜆 (0) = 1 - 𝜇$ となる．定義 1.1.1 よりそのエントロピーは $- 𝜇 l o g 𝜇 - (1 - 𝜇) l o g (1 - 𝜇)$ ，すなわち $𝐻 𝑏 (𝜇)$ である．

後半を確かめる． $𝜆 : = l o g 𝜇 1 - 𝜇$ とおくと $e x p (𝜆 \cdot 1) = 𝜇 / (1 - 𝜇)$ ， $e x p (𝜆 \cdot 0) = 1$ だから

𝑍 (𝜆) = 1 + 𝜇 1 - 𝜇 = 1 1 - 𝜇, 𝑝 * 𝜆 (1) = 𝜇 / (1 - 𝜇) 1 / (1 - 𝜇) = 𝜇

であり， $𝔼 𝑝 * 𝜆 [𝑓 1] = 𝜇$ が成り立つ． $◼$

形式化: 制約を満たす $𝜆$ のもとで $𝑝 * 𝜆 (1) = 𝜇$ となることgibbsPmf_bool_true_eq_of_mean， $𝑝 * 𝜆 (0) = 1 - 𝜇$ となることgibbsPmf_bool_false_eq_of_mean，エントロピーが二値エントロピーに等しいことentropy_gibbsPmf_bool_eq_binEntropy，その特徴関数 boolFeature (ソース)

形式化上の注記. 形式化されているのは例 10.2.8 の前半，すなわち制約を満たす $𝜆$ が与えられたときのエントロピーの値までである． $𝜆 = l o g 𝜇 1 - 𝜇$ がその制約を満たすという後半に対応する宣言はない．

二値の場合，平均の制約は分布そのものを決めてしまう（ $𝑃 (1) = 𝜇$ で $𝑃 (0) = 1 - 𝜇$ ）．実行可能集合が 1 点なので，最大化としては何も言っていないに等しい．それでもこの例を見ておく価値は二つある．Gibbs 分布の形が「制約から決まる分布」をきちんと再現していること，そして $𝜆$ を制約から解く作業がどんなものかが，いちばん小さい場合に見えることである． $𝜇 = 0.9$ なら $𝜆 = l o g 9 \approx 2.197$ で，そのときのエントロピーは $𝐻 𝑏 (0.9) \approx 0.325$ ナット（ $\approx 0.469$ ビット），公平なコインの $l o g 2 \approx 0.693$ ナット（1 ビット）よりずっと小さい．

サイコロに戻る. 例 10.1.4 の問題に定理 10.2.5 を当てる． $X = {1, \dots, 6}$ ， $𝑓 1 (𝑥) = 𝑥$ ， $𝑐 1 = 4.5$ だから，Gibbs 分布は

𝑝 * 𝜆 (𝑥) = 𝑒 𝜆 𝑥 \sum 6 𝑦 = 1 𝑒 𝜆 𝑦

である．例 10.2.7 のとおり $𝜆 = 0$ なら一様分布で，そのとき平均は $3.5$ である． $𝜆$ が正なら大きい目ほど重みが大きい．制約 $𝔼 𝑝 * 𝜆 [𝑓 1] = 4.5$ をちょうど満たす $𝜆$ があるとすれば，それは数値では $𝜆 = 0.3710 \dots$ であり，そのとき目 $1$ から目 $6$ までの確率は

𝑝 * 𝜆 \approx (0.0544, 0.0788, 0.1142, 0.1654, 0.2398, 0.3475)

となる．この $𝜆$ に定理 10.2.5 を当てると，目の平均が $4.5$ である分布のエントロピーは $𝐻 (𝑝 * 𝜆) \approx 1.614$ ナット（ $\approx 2.328$ ビット）を超えない．定理 10.2.6 を当てれば，この値に達するのはこの分布だけである．例 10.1.4 で見た上限 $l o g 6 \approx 1.792$ ナット（ $\approx 2.585$ ビット）と比べると，平均を 1 つ測ったことで約 $0.18$ ナット（約 $0.26$ ビット）ぶんの不確かさが減ったことになる．

この $𝜆$ は数値で求めた．本節までの議論は，制約に合う $𝜆$ が存在するのか，あるとして 1 つに決まるのかを，何も言っていない．それを扱うのが 10.4 節である．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．