10.4 Lagrange 乗数の存在

10.2 節と 10.3 節の主張は，どれも「その $𝜆$ の Gibbs 分布がモーメント制約を満たすならば」という条件のもとで述べられている．順序を確かめておきたい．先にあるのは制約の値 $𝑐$ のほうで， $𝜆$ はそれに合うように後から探すものである．探せば見つかるのか．見つかるとして，1 つに決まるのか．この問いに答えないかぎり，最大エントロピー定理は「もし解があれば」という条件つきの主張にとどまる．実行可能な分布はいくらでもあるのに Gibbs 分布がその中に 1 つも入っていないという制約があるかどうかが，分からないままだからである．

これまでに $𝜆$ が実際に見つかった例は 2 つある．例 10.2.8 の二値の場合は式で解け，例 10.1.4 のサイコロは数値で解けた．だがそれは 2 つの例でそうだったというだけで，一般に何が起きるのかは何も言っていない．

本節の道具は微分である．10.3 節が主役に据えた対数分配関数 $𝜓$ を 1 回微分すると特徴関数の平均が出て（命題 10.4.1），もう 1 回微分すると分散が出る（命題 10.4.2）．特徴関数が 1 つのときは，この二つだけで存在と一意性がともに出る（定理 10.4.3）．以下， $X$ は空でない有限アルファベット， $𝑓 1, \dots, 𝑓 𝑘$ はその上の特徴関数， $⟨ 𝜆, 𝑢 ⟩ = \sum 𝑖 𝜆 𝑖 𝑢 𝑖$ は 10.2 節で置いた記法である．

分配関数を微分する

微分の計算規則を借りる. 借りるのは微積分の計算規則で，次の 5 つである．有限個の微分可能な関数の和・積・商（分母が 0 でないところ）・合成はふたたび微分可能で，導関数は和の法則・積の法則・商の法則・合成関数の微分の法則で与えられること．指数関数と対数関数の導関数が $(𝑒 𝑡)' = 𝑒 𝑡$ ， $(l o g 𝑡)' = 1 / 𝑡$ であること．1 次式 $𝑡 \mapsto 𝛼 + 𝛽 𝑡$ の導関数が $𝛽$ であること．2 階の導関数についても同じ規則を繰り返し使えること．そして，区間の上で 2 階導関数がつねに 0 以上なら，関数はその区間で凸であること．最後の 1 つは，1.1 節が狭義凹の判定に借りたのと同じ微積分の判定法であり，符号を逆にした形で使う．当てる相手は，有限アルファベット上の和として書かれた $𝜆 \mapsto 𝑍 (𝜆)$ とその商，および直線 $𝜆 + 𝑡 𝑣$ に沿って $𝜓$ を1 変数関数に制限したものである．この借用に依存するのは命題 10.4.1 と命題 10.4.2 だけで，以降はこの 2 つの結論だけを使う．本書はこの 5 つを証明しないが，形式化されていないわけではない．実際，どれも Mathlib にある無条件の機械検証済みの定理として形式化されている．

形式化上の注記（本節共通）. 本節の主張（命題 10.4.1・命題 10.4.2・定理 10.4.3・系 10.4.4・例 10.4.5・例 10.4.6）には，対応する形式化された宣言がない．本書はこれらを証明するが，そのままの形では機械検証されていない．本節に形式化ポインタが 1 つも現れないのはそのためである．なお命題 10.4.1の内容は，有限アルファベットではなく一般の確率測度と傾き変換の言葉で，特徴関数が1 つの場合に限って形式化されている．本節の記号との橋渡しがないので，ここでは紐付けない．

命題 10.4.1. $X$ を空でない有限アルファベット， $𝑓 1, \dots, 𝑓 𝑘$ をその上の特徴関数とする．定義 10.3.1 の対数分配関数 $𝜓$ は各変数について偏微分可能で，任意の $𝜆 \in ℝ 𝑘$ と $𝑖 \in {1, \dots, 𝑘}$ に対して

𝜕 𝜓 𝜕 𝜆 𝑖 (𝜆) = 𝔼 𝑝 * 𝜆 [𝑓 𝑖] = \sum 𝑥 \in X 𝑝 * 𝜆 (𝑥) 𝑓 𝑖 (𝑥)

が成り立つ．

証明. $𝜆$ と $𝑖$ を固定し，第 $𝑖$ 成分だけを動かす．各 $𝑥$ について $⟨ 𝜆, 𝑓 (𝑥) ⟩ = \sum 𝑗 𝜆 𝑗 𝑓 𝑗 (𝑥)$ は $𝜆 𝑖$ の 1 次式であり，その $𝜆 𝑖$ による導関数は $𝑓 𝑖 (𝑥)$ である．合成関数の微分と $(𝑒 𝑡)' = 𝑒 𝑡$ より

𝜕 𝜕 𝜆 𝑖 e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩) = 𝑓 𝑖 (𝑥) e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩)

となる． $X$ は有限だから $𝑍 (𝜆)$ はこれらの有限和であり，項別に微分できて

𝜕 𝑍 𝜕 𝜆 𝑖 (𝜆) = \sum 𝑥 𝑓 𝑖 (𝑥) e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩)

である．指数関数の値は正で $X$ は空でないから $𝑍 (𝜆) > 0$ であり， $𝜓 = l o g 𝑍$ に合成関数の微分と $(l o g 𝑡)' = 1 / 𝑡$ を当てられて

𝜕 𝜓 𝜕 𝜆 𝑖 (𝜆) = 1 𝑍 (𝜆) \sum 𝑥 𝑓 𝑖 (𝑥) e x p (⟨ 𝜆, 𝑓 (𝑥) ⟩) = \sum 𝑥 𝑓 𝑖 (𝑥) 𝑝 * 𝜆 (𝑥)

を得る．最後の等号は定義 10.2.1 による． $◼$

微分するとモーメントが出る. 分配関数を微分すると特徴関数の平均が出てくる，というこの形が本節を動かす． $𝜓$ という 1 つの関数が， $𝜆$ ごとの Gibbs 分布のもとでの平均を全部覚えていることになる． $𝜓$ が母関数（微分するたびに分布の量を吐き出す関数）として使われるのは，この性質による．

$𝜆$ を探す問題も，これで書き換わる．モーメント制約 $𝔼 𝑝 * 𝜆 [𝑓 𝑖] = 𝑐 𝑖$ は，命題 10.4.1 により

𝜕 𝜓 𝜕 𝜆 𝑖 (𝜆) = 𝑐 𝑖 (𝑖 = 1, \dots, 𝑘)

と同じことである．すなわち $𝜆$ を探すとは， $𝜓$ の勾配が指定された値 $𝑐$ になる点を探すことにほかならない．勾配が指定の値をとる点を探す問題では，その関数が凸かどうかが効いてくる．次の命題がそれを与える．

命題 10.4.2. $X$ を空でない有限アルファベット， $𝑓 1, \dots, 𝑓 𝑘$ をその上の特徴関数とし， $𝑣 \in ℝ 𝑘$ に対して $X$ 上の関数 $𝑣 \cdot 𝑓$ を $(𝑣 \cdot 𝑓) (𝑥) : = ⟨ 𝑣, 𝑓 (𝑥) ⟩$ で定める．任意の $𝜆, 𝑣 \in ℝ 𝑘$ に対し $𝑔 (𝑡) : = 𝜓 (𝜆 + 𝑡 𝑣)$ （ $𝑡 \in ℝ$ ）とおくと， $𝑔$ は 2 回微分可能で，すべての $𝑡$ に対して

𝑔 ″ (𝑡) = 𝔼 𝑝 * 𝜆 + 𝑡 𝑣 [(𝑣 \cdot 𝑓) 2] - (𝔼 𝑝 * 𝜆 + 𝑡 𝑣 [𝑣 \cdot 𝑓]) 2

が成り立つ．右辺は $𝑝 * 𝜆 + 𝑡 𝑣$ のもとでの $𝑣 \cdot 𝑓$ の分散であり，つねに0 以上である．したがって $𝜓$ は $ℝ 𝑘$ 上の凸関数である．さらに， $𝑔 ″ (𝑡) = 0$ となるのは $𝑣 \cdot 𝑓$ が $X$ 上で定数のとき，かつそのときに限る．とくに $𝑘 = 1$ で $𝑣 = 1$ ととると $𝑔$ は $𝜓$ の平行移動になり， $𝜓$ は 2 回微分可能で $𝜓 ″ (𝜆) = 𝑔 ″ (0)$ である．

証明. $𝑎 (𝑥) : = ⟨ 𝜆, 𝑓 (𝑥) ⟩$ ， $𝑏 (𝑥) : = (𝑣 \cdot 𝑓) (𝑥)$ とおくと $⟨ 𝜆 + 𝑡 𝑣, 𝑓 (𝑥) ⟩ = 𝑎 (𝑥) + 𝑡 𝑏 (𝑥)$ である．そこで

𝑆 (𝑡) : = 𝑍 (𝜆 + 𝑡 𝑣) = \sum 𝑥 e x p (𝑎 (𝑥) + 𝑡 𝑏 (𝑥))

と書く．各項は $𝑡$ の 1 次式と指数関数の合成だから，合成関数の微分により $𝑡$ について何度でも微分でき， $X$ が有限だから項別に微分できて

𝑆' (𝑡) = \sum 𝑥 𝑏 (𝑥) e x p (𝑎 (𝑥) + 𝑡 𝑏 (𝑥)), 𝑆 ″ (𝑡) = \sum 𝑥 𝑏 (𝑥) 2 e x p (𝑎 (𝑥) + 𝑡 𝑏 (𝑥))

である．指数関数の値は正で $X$ は空でないから $𝑆 (𝑡) > 0$ であり， $𝑔 = l o g 𝑆$ に合成関数の微分と商の法則を当てて

𝑔' (𝑡) = 𝑆' (𝑡) 𝑆 (𝑡), 𝑔 ″ (𝑡) = 𝑆 ″ (𝑡) 𝑆 (𝑡) - 𝑆' (𝑡) 2 𝑆 (𝑡) 2 = 𝑆 ″ (𝑡) 𝑆 (𝑡) - (𝑆' (𝑡) 𝑆 (𝑡)) 2

を得る．定義 10.2.1 より $𝑝 * 𝜆 + 𝑡 𝑣 (𝑥) = e x p (𝑎 (𝑥) + 𝑡 𝑏 (𝑥)) / 𝑆 (𝑡)$ だから， $𝑆' (𝑡) / 𝑆 (𝑡) = 𝔼 𝑝 * 𝜆 + 𝑡 𝑣 [𝑏]$ ， $𝑆 ″ (𝑡) / 𝑆 (𝑡) = 𝔼 𝑝 * 𝜆 + 𝑡 𝑣 [𝑏 2]$ であり，主張の等式が出る．

右辺が 0 以上であることを見る． $𝑤 : = 𝑝 * 𝜆 + 𝑡 𝑣$ ， $¯ 𝑏 : = 𝔼 𝑤 [𝑏]$ とおくと， $\sum 𝑥 𝑤 (𝑥) = 1$ を使って展開すれば

𝔼 𝑤 [𝑏 2] - ¯ 𝑏 2 = \sum 𝑥 𝑤 (𝑥) (𝑏 (𝑥) - ¯ 𝑏) 2

である．各項は非負だから和も非負である．しかも和が 0 になるのは全項が 0 のとき，かつそのときに限り，命題 10.2.2 より $𝑤 (𝑥) > 0$ だから，それは各 $𝑥$ で $𝑏 (𝑥) = ¯ 𝑏$ であること，すなわち $𝑏 = 𝑣 \cdot 𝑓$ が $X$ 上で定数であることと同値である．

凸性を見る． $ℝ 𝑘$ 上の関数が凸であるとは，任意の 2 点を結ぶ線分の上で凸だということであり，線分は $𝜆$ と $𝑣$ を選んで $𝑡 \mapsto 𝜆 + 𝑡 𝑣$ と書けるから，すべての $𝜆, 𝑣$ について $𝑔$ が凸であることと同じである．いま $𝑔 ″ \geq 0$ が示せたので，借用した「2 階導関数が 0 以上なら凸」により $𝑔$ は凸であり，したがって $𝜓$ も凸である．

最後に $𝑘 = 1$ ， $𝑣 = 1$ の場合を見る．このとき $𝑔 (𝑡) = 𝜓 (𝜆 + 𝑡)$ だから，逆に $𝜓 (𝑠) = 𝑔 (𝑠 - 𝜆)$ と書ける． $𝑠 \mapsto 𝑠 - 𝜆$ は 1 次式でその導関数は1 だから，借用した合成関数の微分と 1 次式の導関数により， $𝜓$ は 2 回微分可能で $𝜓 ″ (𝑠) = 𝑔 ″ (𝑠 - 𝜆)$ である． $𝑠 = 𝜆$ とおけば $𝜓 ″ (𝜆) = 𝑔 ″ (0)$ を得る． $◼$

分散が非負だから凸である. 凸性の理由がこれ以上ないほど短い形で出た．2 階微分は分散で，分散は 2 乗の平均だから負になりようがない．逆に，凸性が崩れかける（2 階微分が 0 になる）のは分散が消えるときで，それは $𝑣 \cdot 𝑓$ が $X$ 上で定数になる向き $𝑣$ に限られる．特徴関数どうしが一次従属だったり，特徴関数の一次結合が定数関数になったりすると，そういう向きが現れる．定数関数 $1$ を加えた $𝑘 + 1$ 個 $𝑓 1, \dots, 𝑓 𝑘, 1$ が一次独立なら， $𝜓$ はどの向きにも狭義に曲がっている．

$𝑘 = 1$ のときにこれをどう使うかを言っておく．特徴関数が 1 つで，それが定数関数でなければ，上の狭義性により $𝜓 ″$ はどの点でも正である．すると，命題 10.4.1 によれば特徴関数の平均である $𝜓'$ は狭義単調増加になる．勾配が指定の値をちょうど 1 回とる，という次の定理の結論は，凸性をこの単調性の形で使って出す．

特徴関数が 1 つのときの存在と一意性

中間値の定理と，導関数から単調性を読む規則を借りる. 借りるのは 4 つである．一つめは中間値の定理で，形は「有界閉区間の上の実数値連続関数は，両端の値のあいだの値をすべてとる」．二つめは「微分可能な関数は連続である」．三つめは「区間の上で導関数がつねに正なら，関数はその区間で狭義単調増加である」．四つめは指数関数の基本性質で， $𝑒 𝑡$ が狭義単調増加であること， $𝑡 \to - \infty$ で $𝑒 𝑡 \to 0$ ， $𝑡 \to + \infty$ で $𝑒 𝑡 \to + \infty$ であること，および有限個の項からなる和と商の極限が項ごとの極限から定まることである．当てる相手はいずれも $ℝ$ の全体で定義された 1 変数の実数値関数で，具体的には $𝜆 \mapsto 𝔼 𝑝 * 𝜆 [𝑓 1]$ とその有界閉区間への制限，記号 $𝑥$ を固定したときの $𝜆 \mapsto 𝑝 * 𝜆 (𝑥)$ ，および指数関数の値の有限個からなる和と商である．一つめから三つめに依存するのは定理 10.4.3 だけ，四つめに依存するのは定理 10.4.3・例 10.4.5・例 10.4.6 だけで，ほかの主張はこれらの結論しか使わない．本書はこの 4 つを証明しないが，形式化されていないわけではない．実際，どれもMathlib にある無条件の機械検証済みの定理として形式化されている．

定理 10.4.3（制約に整合する Lagrange 乗数の存在と一意性）. $X$ を空でない有限アルファベット， $𝑘 = 1$ とし， $𝑓 1$ をその上の特徴関数とする．

𝑓 m i n : = m i n 𝑥 \in X 𝑓 1 (𝑥), 𝑓 m a x : = m a x 𝑥 \in X 𝑓 1 (𝑥)

とおく．制約の値 $𝑐 1$ が $𝑓 m i n < 𝑐 1 < 𝑓 m a x$ を満たすならば，Gibbs 分布 $𝑝 * 𝜆$ がモーメント制約 $𝔼 𝑝 * 𝜆 [𝑓 1] = 𝑐 1$ を満たすような実数 $𝜆$ が，ただ 1 つ存在する．

証明. $𝑚 (𝜆) : = 𝔼 𝑝 * 𝜆 [𝑓 1]$ とおく．示すことは， $𝑚$ が値 $𝑐 1$ をちょうど 1 回とることである．

$𝑓 1$ は定数関数でない. 仮定 $𝑓 m i n < 𝑐 1 < 𝑓 m a x$ より $𝑓 m i n < 𝑓 m a x$ である． $X$ が有限だから最小値と最大値はどちらも $𝑓 1$ の値で，それが異なるということは $𝑓 1$ が定数関数でないということである．

$𝑚$ は狭義単調増加で連続である. $𝑘 = 1$ なので偏微分は普通の微分であり，命題 10.4.1 より $𝑚 = 𝜓'$ である．命題 10.4.2 を $𝑣 = 1$ にとって使うと， $𝑣 \cdot 𝑓 = 𝑓 1$ であり， $𝜓$ は 2 回微分可能で $𝜓 ″ (𝜆)$ は $𝑝 * 𝜆$ のもとでの $𝑓 1$ の分散に等しい．すなわち

𝑚' (𝜆) = 𝜓 ″ (𝜆) = 𝔼 𝑝 * 𝜆 [𝑓 21] - (𝔼 𝑝 * 𝜆 [𝑓 1]) 2

である． $𝑓 1$ は定数関数でないから，命題 10.4.2 の狭義性の主張により $𝑚' (𝜆) > 0$ がすべての $𝜆$ で成り立つ．借用した「導関数がつねに正なら狭義単調増加」により $𝑚$ は $ℝ$ の上で狭義単調増加であり，微分可能だから連続でもある．

両端の極限を計算する. $𝐴 : = {𝑥 \in X : 𝑓 1 (𝑥) = 𝑓 m a x}$ とおく． $X$ は空でない有限集合だから $𝐴$ も空でなく， $| 𝐴 | \geq 1$ である．定義 10.2.1 によれば $𝑚 (𝜆)$ は $\sum 𝑥 𝑓 1 (𝑥) e x p (𝜆 𝑓 1 (𝑥))$ を $𝑍 (𝜆)$ で割ったものである．この分子と分母を $e x p (𝜆 𝑓 m a x)$ で割ると

𝑚 (𝜆) = \sum 𝑥 𝑓 1 (𝑥) e x p (𝜆 (𝑓 1 (𝑥) - 𝑓 m a x)) \sum 𝑥 e x p (𝜆 (𝑓 1 (𝑥) - 𝑓 m a x))

である． $𝑥 \in 𝐴$ の項では指数の中身が 0 なので $e x p$ の値は 1， $𝑥 \notin 𝐴$ の項では $𝑓 1 (𝑥) - 𝑓 m a x < 0$ だから $𝜆 \to + \infty$ で指数の中身は $- \infty$ に向かい， $e x p$ の値は 0 に向かう．項は有限個だから，分子は $| 𝐴 | 𝑓 m a x$ に，分母は $| 𝐴 |$ に向かう．よって

l i m 𝜆 \to + \infty 𝑚 (𝜆) = 𝑓 m a x

である． $𝑓 m i n$ を与える点の集合について同じ計算をすれば $l i m 𝜆 \to - \infty 𝑚 (𝜆) = 𝑓 m i n$ を得る．

中間値の定理を当てる. $𝑐 1 < 𝑓 m a x$ だから， $𝜆 \to + \infty$ での極限より， $𝑚 (𝜆 +) > 𝑐 1$ となる実数 $𝜆 +$ がある．同じく $𝑓 m i n < 𝑐 1$ より， $𝑚 (𝜆 -) < 𝑐 1$ となる実数 $𝜆 -$ がある． $𝑚$ は狭義単調増加だから $𝜆 - < 𝜆 +$ である（ $𝜆 - \geq 𝜆 +$ なら $𝑚 (𝜆 -) \geq 𝑚 (𝜆 +)$ となって矛盾する）． $𝑚$ は閉区間 $[𝜆 -, 𝜆 +]$ の上で連続だから，借用した中間値の定理により $𝑚 (𝜆) = 𝑐 1$ を満たす $𝜆$ がこの区間にある．これで存在が言えた．

一意性は狭義単調性から出る． $𝜆 < 𝜆'$ ならば $𝑚 (𝜆) < 𝑚 (𝜆')$ だから，両方が $𝑐 1$ に等しいことはない． $◼$

系 10.4.4. $X$ を空でない有限アルファベット， $𝑘 = 1$ とし， $𝑓 1$ をその上の特徴関数とする．

𝑓 m i n : = m i n 𝑥 \in X 𝑓 1 (𝑥), 𝑓 m a x : = m a x 𝑥 \in X 𝑓 1 (𝑥)

とおく．制約の値 $𝑐 1$ が $𝑓 m i n < 𝑐 1 < 𝑓 m a x$ を満たすとし，定理 10.4.3 が与えるただ 1 つの実数を $𝜆$ とする．このとき $𝑝 * 𝜆$ は実行可能集合の上でエントロピーを最大にする唯一の分布であり，その最大値は

𝐻 (𝑝 * 𝜆) = 𝜓 (𝜆) - 𝜆 𝑐 1

である．

証明. 定理 10.4.3 により， $𝑝 * 𝜆$ はモーメント制約を満たす．とくに $𝑝 * 𝜆$ は実行可能である．この $𝜆$ に定理 10.2.5 を当てると，実行可能な任意の分布 $𝑃$ について $𝐻 (𝑃) \leq 𝐻 (𝑝 * 𝜆)$ であり， $𝑝 * 𝜆$ は最大にする分布である．同じ $𝜆$ に定理 10.2.6 を当てると，実行可能な $𝑃$ が $𝐻 (𝑃) = 𝐻 (𝑝 * 𝜆)$ を満たすのは $𝑃 = 𝑝 * 𝜆$ のとき，かつそのときに限るから，最大にする分布はこれ以外にない．値については，同じ $𝜆$ に定理 10.3.3 を当てて $𝐻 (𝑝 * 𝜆) = 𝜓 (𝜆) - ⟨ 𝜆, 𝑐 ⟩$ を得る． $𝑘 = 1$ では $⟨ 𝜆, 𝑐 ⟩ = 𝜆 𝑐 1$ である． $◼$

形式化上の注記. 系 10.4.4 に対応する単独の宣言はない．定理 10.2.5・定理 10.2.6・定理 10.3.3 の形式化を合わせれば， $𝜆$ を与えたときの最大性・一意性・値までは出る．その $𝜆$ の存在と一意性を与える定理 10.4.3 の側が形式化されていないので，系全体としては機械検証に届かない．

条件つきだった主張が，条件から解放される. 10.2 節と 10.3 節の主張はどれも「その $𝜆$ の Gibbs 分布が制約を満たすならば」という条件つきだった．系 10.4.4 はその条件を，制約の値が $𝑓 1$ の最小値と最大値のあいだに真にあるという，制約の側だけで確かめられる条件に置き換えている． $𝜆$ を先に見つけておかなくても，最大化分布が存在すること，それが Gibbs 分布であること，1 つしかないこと，そしてその値までが言える．

例 10.1.4 のサイコロがまさにこの場合である． $𝑓 1 (𝑥) = 𝑥$ について $𝑓 m i n = 1 < 4.5 < 6 = 𝑓 m a x$ だから仮定はぴったり満たされ，10.2 節で数値的に求めた $𝜆 = 0.3710 \dots$ は確かに存在して，しかもそれ以外にない．あの数値解は当て推量ではなく，系 10.4.4 の保証する唯一解だった．

$𝑘 \geq 2$ には踏み込まない. 特徴関数が 2 つ以上あるときに同じことが言えるかは，本書では扱わない．理由は道具立てにある． $𝑘 = 1$ で効いたのは， $𝑚$ が実数上の 1 変数関数であって，狭義単調増加なら中間値の定理がそのまま当たるという点だった． $𝑘 \geq 2$ では， $𝑘$ 個の偏微分を並べた $𝜓$ の勾配は $ℝ 𝑘$ から $ℝ 𝑘$ への写像になり，「両端の値のあいだ」という言い方がそもそもできない． $𝜆$ が存在する $𝑐$ の範囲は，点 $𝑓 (𝑥)$ （ $𝑥 \in X$ ）の凸包の言葉で述べることになり，その特徴づけと証明には多変数の凸解析の道具が要る．本書はその道具を借りていないので，この場合は証明しない．形式化もされていない．

例で確かめる

例 10.4.5（二値の場合の乗数）. $X = {0, 1}$ ， $𝑘 = 1$ ， $𝑓 1 (𝑥) = 𝑥$ とする．このとき任意の実数 $𝜆$ に対して

𝔼 𝑝 * 𝜆 [𝑓 1] = 𝑒 𝜆 1 + 𝑒 𝜆 = 1 1 + 𝑒 - 𝜆

であり，この値は $𝜆$ について狭義単調増加で， $𝜆 \to - \infty$ で 0 に， $𝜆 \to + \infty$ で 1 に向かう．制約の値を $𝜇 \in (0, 1)$ とすると，定理 10.4.3 が与える唯一の $𝜆$ は $l o g 𝜇 1 - 𝜇$ である．

証明. $𝑓 1 (0) = 0$ ， $𝑓 1 (1) = 1$ だから，定義 10.2.1 より $𝑍 (𝜆) = 𝑒 0 + 𝑒 𝜆 = 1 + 𝑒 𝜆$ であり，

𝔼 𝑝 * 𝜆 [𝑓 1] = 0 \cdot 𝑝 * 𝜆 (0) + 1 \cdot 𝑝 * 𝜆 (1) = 𝑒 𝜆 1 + 𝑒 𝜆

である．分子と分母を $𝑒 𝜆$ で割れば 2 つめの表示になる．借用した指数関数の性質により $𝑒 - 𝜆$ は $𝜆$ について狭義単調減少で正だから， $1 / (1 + 𝑒 - 𝜆)$ は狭義単調増加である．また $𝜆 \to - \infty$ では $𝑒 - 𝜆 \to + \infty$ なので値は 0 に向かい， $𝜆 \to + \infty$ では $𝑒 - 𝜆 \to 0$ なので値は 1 に向かう．

$𝑓 m i n = 0$ ， $𝑓 m a x = 1$ だから， $𝜇 \in (0, 1)$ に対して定理 10.4.3 の仮定 $𝑓 m i n < 𝜇 < 𝑓 m a x$ が満たされ，制約 $𝔼 𝑝 * 𝜆 [𝑓 1] = 𝜇$ を満たす $𝜆$ がただ 1 つ存在する．いっぽう例 10.2.8 は $𝜆 = l o g 𝜇 1 - 𝜇$ がその制約を満たすことを示している．一意性により，これが定理 10.4.3 の与える $𝜆$ である． $◼$

定理 10.4.3 の道具立てが，そのまま目に見える. 例 10.4.5 の式は，定理 10.4.3 の証明に出てきた $𝑚$ を最小の場合に書き下したものである．狭義単調増加であること，両端の極限が $𝑓 m i n = 0$ と $𝑓 m a x = 1$ であること，そして値がその 2 つには決して届かないこと，すなわち $1 / (1 + 𝑒 - 𝜆)$ が 0 にも 1 にもならないことが式のまま読める．制約の値が開区間の中にあるという仮定が何を排除しているのかも，これで見当がつく．端点を指定したらどうなるのかが，次の例である．

例 10.4.6（制約の値が端にあるとき）. $X$ を空でない有限アルファベット， $𝑘 = 1$ とし，特徴関数 $𝑓 1$ は定数関数でないとする． $𝑓 m a x : = m a x 𝑥 𝑓 1 (𝑥)$ とおき， $𝐴 : = {𝑥 \in X : 𝑓 1 (𝑥) = 𝑓 m a x}$ とおいて，制約の値を $𝑐 1 = 𝑓 m a x$ にとる．このとき次の 4 つが成り立つ．

$X$ 上の分布 $𝑃$ が実行可能であることと， $𝐴$ の外のすべての点で $𝑃$ が 0 をとることは同値である．
どの実数 $𝜆$ についても， $𝑝 * 𝜆$ は実行可能でない．
実行可能集合の上でエントロピーを最大にする分布は $𝐴$ 上の一様分布ただ 1 つで，その値は $l o g | 𝐴 |$ である．
$𝜆 \to + \infty$ のとき， $𝑝 * 𝜆 (𝑥)$ は $𝑥 \in 𝐴$ で $1 / | 𝐴 |$ に， $𝑥 \notin 𝐴$ で 0 に収束する．

証明.

すべての $𝑥$ で $𝑓 1 (𝑥) \leq 𝑓 m a x$ であり， $\sum 𝑥 𝑃 (𝑥) = 1$ だから
$𝑓 m a x - 𝔼 𝑃 [𝑓 1] = \sum 𝑥 𝑃 (𝑥) (𝑓 m a x - 𝑓 1 (𝑥))$
であって，右辺の各項は非負である． $𝑃$ が実行可能であること，すなわち左辺が 0 であることは，全項が 0 であることと同値である．全項が 0 であるとは各 $𝑥$ で $𝑃 (𝑥) = 0$ または $𝑓 1 (𝑥) = 𝑓 m a x$ が成り立つことであり，これは「 $𝑥 \notin 𝐴$ ならば $𝑃 (𝑥) = 0$ 」と同じことである．
命題 10.2.2 より $𝑝 * 𝜆$ はすべての点で正である． $𝑓 1$ は定数関数でないから $𝐴$ に属さない点 $𝑥 0$ があり，そこで $𝑝 * 𝜆 (𝑥 0) > 0$ である．主張 1 より $𝑝 * 𝜆$ は実行可能でない．
主張 1 より，実行可能な分布 $𝑃$ は $𝐴$ の外で 0 をとる．よって $\sum 𝑥 \in 𝐴 𝑃 (𝑥) = 1$ であり， $𝑃$ を $𝐴$ に制限したものは $𝐴$ 上の分布である． $𝑃 (𝑥) = 0$ の項はエントロピーの和に寄与しない（定義 1.1.1 の約束）から， $𝐻 (𝑃)$ はその制限のエントロピーに等しい． $𝐴$ を空でない有限アルファベットとみて定理 1.1.5 を当てると $𝐻 (𝑃) \leq l o g | 𝐴 |$ であり，等号は $𝑃$ が $𝐴$ 上で一様なとき，かつそのときに限る． $𝐴$ 上の一様分布は $𝐴$ の外で 0 をとるので，主張 1 より実行可能である．
定理 10.4.3 の証明と同じく，定義 10.2.1 の分子と分母を $e x p (𝜆 𝑓 m a x)$ で割ると
$𝑝 * 𝜆 (𝑥) = e x p (𝜆 (𝑓 1 (𝑥) - 𝑓 m a x)) \sum 𝑦 e x p (𝜆 (𝑓 1 (𝑦) - 𝑓 m a x))$
である． $𝜆 \to + \infty$ のとき，分母は $| 𝐴 |$ に向かい，分子は $𝑥 \in 𝐴$ ならつねに 1， $𝑥 \notin 𝐴$ なら 0 に向かう．

$◼$

Gibbs の形は最大化分布を全部は覆わない. 例 10.4.6 が言っているのは，最大化分布は存在するのに，それが Gibbs 分布ではない，ということである．10.2 節の定理が言ったのは「制約を満たす $𝑝 * 𝜆$ があれば，それが最大化分布」ということであって，その逆向きの「最大化分布はかならず Gibbs 分布である」ということではなかった．その差が現れるのがここである．最大化分布は Gibbs 分布の極限としては届く．届かないのは， $𝜆$ が有限の値であるかぎり，ということである．

定理 10.4.3 が開区間を仮定した理由も，これで見える．制約の値が端に来ると実行可能集合が痩せて，全点で正の分布を 1 つも含まなくなる． $𝑝 * 𝜆$ はつねに全点で正だから（命題 10.2.2），その中に入りようがない．開区間という仮定は，実行可能集合が全点で正の分布を含むだけの余裕をもつことを保証している．

第10章が示したことを並べておく．制約が分布について線形であるかぎり（定義 10.1.1），最大エントロピー分布の形は $e x p ⟨ 𝜆, 𝑓 ⟩$ に比例するものに絞られる（定義 10.2.1・定理 10.2.5）．その根拠は相対エントロピーの非負性ただ 1 つで（定理 1.6.1），凸性も微分も要らなかった．最大値そのものは対数分配関数を使って $𝜓 (𝜆) - ⟨ 𝜆, 𝑐 ⟩$ という閉じた式で書ける（定理 10.3.3）．最後に残った問いは，制約に整合する $𝜆$ があるのかどうかだった．特徴関数が 1 つのときは， $𝜓$ を 2 回微分するだけで答えが出て（定理 10.4.3），条件つきだった主張が制約の値だけで確かめられる形になった（系 10.4.4）．「知っていることは反映し，知らないことは決めつけない」という 10.1 節の原則を 1 つ置いただけで，指数型分布族という具体的な分布の形と，その形を決めるパラメータの求め方までが出てくる．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．