11.6 I 射影と誤りの指数のトレードオフ

検定の誤りについて，前節までに二つの立て方が出た．第一種の誤りを一定の水準で抑えて第二種の誤りだけを小さくする立て方（11.4 節）と，二つの誤りを事前確率 $1 / 2$ ずつで足して一つの誤り確率にする立て方（11.5 節）である．違いは第一種の誤りへの厳しさにある．前者は水準を一つ決めて抑えるだけで， $𝑛$ を大きくしても要求は厳しくならない．後者は第一種の誤りを第二種の誤りと同じ重みで数える．その中間として，受容域そのものを指数の水準で切る立て方がある．型が $𝑃$ から相対エントロピーで測って $𝑡$ 以内にある系列だけを受け入れることにし，そのときの第二種の誤りがどれだけ速く落ちるかを問う，というものである．11.4 節は受容域を対数尤度比の平均で切ったが，ここでは $𝑃$ からの隔たりで切る．というのも，第一種の誤りの落ちる速さを $𝑡$ と決めるには，こちらの切り方が Sanov の上界（定理 11.3.2）にそのまま乗るからである．本節はこの問いに答える．

答えは最小化問題の値として書ける． $𝐷 (˜ 𝑃 ‖ 𝑃) \leq 𝑡$ を満たす分布 $˜ 𝑃$ の全体の上で $𝐷 (˜ 𝑃 ‖ 𝑄)$ を最小にする，というのがその問題である．この形の最小化は本節の設定に限らず現れるので，先に一般の形で立てておく．分布の集合が一つ与えられたとき，その中で $𝑄$ からの隔たりがいちばん小さい分布を選ぶ，という操作である．

I 射影

定義 11.6.1（I 射影）. $X$ を空でない有限アルファベット， $K$ を $X$ 上の分布の集合， $𝑄$ を $X$ 上の全点で正の分布とする． $K$ に属する分布 $𝑄 ⋆$ が， $K$ に属するどの分布 $˜ 𝑃$ についても

𝐷 (𝑄 ⋆ ∥ 𝑄) \leq 𝐷 (˜ 𝑃 ∥ 𝑄)

を満たすとき， $𝑄 ⋆$ を $K$ への $𝑄$ の I 射影 と呼ぶ（ $𝐷$ は 1.6 節の相対エントロピー）．

$𝑄$ が $K$ に属していれば， $𝐷 (𝑄 ‖ 𝑄) = 0$ と定理 1.6.1 から $𝑄$ 自身が I 射影である．属していないときに， $K$ の中でいちばん $𝑄$ に近いものを選ぶのが I 射影である．射影と呼ぶのは，平面上の点から直線へ垂線を下ろす操作と形が似ているからである．ただし相対エントロピーは距離ではない（1.6 節）ので，似ているのは形であって中身ではない．とくに二つの引数のどちらを動かすかで別の問題になり，本書が I 射影と呼ぶのは第 $1$ 引数を動かすほう，すなわち $K$ の側を動かして $𝑄$ からの隔たりを測るほうである．

存在と一意性は， $K$ についての二つの条件から出る．存在は $𝐷 (\cdot ‖ 𝑄)$ が分布のつくる集合の上で連続であることを，一意性は狭義凸であることを経由する．

定理 11.6.2（相対エントロピーの連続性・狭義凸性と I 射影の存在と一意性）. $X$ を空でない有限アルファベット， $𝑄$ を $X$ 上の全点で正の分布とし， $X$ 上の分布全体のなす集合を $Δ$ と書く（第6章 6.1 節と同じ記号である）．このとき $˜ 𝑃 \mapsto 𝐷 (˜ 𝑃 ‖ 𝑄)$ は $Δ$ の上で連続かつ狭義凸である（狭義凸とは，相異なる二つの分布を結ぶ線分の内点での値が，両端の値の対応する重み付き平均より真に小さいことをいう）．したがって， $X$ 上の分布の集合 $K$ が空でない閉集合ならば $K$ への $𝑄$ の I 射影（定義 11.6.1）が存在し， $K$ が凸ならば I 射影は高々一つである（ $𝐷$ は 1.6 節の相対エントロピー）．

証明. 連続性から示す． $Δ$ の分布 $˜ 𝑃$ について，1.6 節の定義から

𝐷 (˜ 𝑃 ‖ 𝑄) = \sum 𝑎 ˜ 𝑃 (𝑎) l o g ˜ 𝑃 (𝑎) - \sum 𝑎 ˜ 𝑃 (𝑎) l o g 𝑄 (𝑎) = - \sum 𝑎 𝜑 (˜ 𝑃 (𝑎)) - \sum 𝑎 ˜ 𝑃 (𝑎) l o g 𝑄 (𝑎)

と書ける（ $𝜑$ は 1.1 節の記号で，非負の実数 $𝑢$ に対し $𝜑 (𝑢) = - 𝑢 l o g 𝑢$ である． $˜ 𝑃 (𝑎) = 0$ の項がどの形でも $0$ になることは $𝑄 (𝑎) > 0$ と $0 l o g 0 = 0$ の約束による）． $𝑄$ は全点で正だから $l o g 𝑄 (𝑎)$ は有限な数である．1.1 節で認めた $𝜑$ の $[0, \infty)$ 上の連続性と，一次結合・合成・有限和が連続性を保つという微積分の計算規則から， $˜ 𝑃 \mapsto 𝐷 (˜ 𝑃 ‖ 𝑄)$ は $Δ$ の上で連続である．

狭義凸性に移る． $˜ 𝑃 1$ ， $˜ 𝑃 2$ を $Δ$ の相異なる分布， $𝜃 \in (0, 1)$ とし， $˜ 𝑃 𝜃 : = (1 - 𝜃) ˜ 𝑃 1 + 𝜃 ˜ 𝑃 2$ と置く（これも $Δ$ に属する）．上の式の第 $2$ 項は $˜ 𝑃$ の一次式だから， $˜ 𝑃 𝜃$ での値は両端での値の重み付き平均に等しい．第 $1$ 項を見る． $˜ 𝑃 1 \neq ˜ 𝑃 2$ だから，二つの値が食い違う文字が少なくとも一つある．その文字では 1.1 節で認めた $𝜑$ の $[0, \infty)$ 上の狭義凹性から

𝜑 (˜ 𝑃 𝜃 (𝑎)) > (1 - 𝜃) 𝜑 (˜ 𝑃 1 (𝑎)) + 𝜃 𝜑 (˜ 𝑃 2 (𝑎))

であり，ほかの文字では凹性から広義の不等号が成り立つ．符号を変えて $𝑎$ について足すと，第 $1$ 項については $˜ 𝑃 𝜃$ での値が両端での値の重み付き平均より真に小さい．二つを合わせて $𝐷 (˜ 𝑃 𝜃 ‖ 𝑄) < (1 - 𝜃) 𝐷 (˜ 𝑃 1 ‖ 𝑄) + 𝜃 𝐷 (˜ 𝑃 2 ‖ 𝑄)$ である．

存在に移る． $K$ は $Δ$ に含まれ， $Δ$ は $ℝ X$ の有界集合である（どの成分も $0$ 以上 $1$ 以下だから）．よって $K$ は空でない有界閉集合であり，その上で $˜ 𝑃 \mapsto - 𝐷 (˜ 𝑃 ‖ 𝑄)$ は連続だから，11.5 節で借りた Weierstrass の最大値定理より最大値をとる．それを与える点を $𝑄 ⋆$ とすると， $𝐷 (\cdot ‖ 𝑄)$ は $K$ の上で $𝑄 ⋆$ で最小値をとる．すなわち $𝑄 ⋆$ は I 射影である．

一意性に移る． $K$ が凸で，相異なる $𝑄 ⋆ 1$ ， $𝑄 ⋆ 2$ がどちらも I 射影だとする．定義 11.6.1 より互いに相手以下だから，二つの値は等しい．中点 $12 (𝑄 ⋆ 1 + 𝑄 ⋆ 2)$ は $K$ に属し，狭義凸性よりそこでの値は二つの値の平均より真に小さい，すなわち共通の値より真に小さい．これは $𝑄 ⋆ 1$ が最小値を与えることに反する．よって I 射影は高々一つである． $◼$

形式化: 連続性 continuous_klDivPmf_left，狭義凸性 klDivPmf_strictConvexOn_left，存在 csiszar_projection_exists，一意性 csiszar_projection_unique (ソース)

形式化上の注記. ただし連続性の宣言が述べるのは $ℝ X$ 全体での連続性で，本文の $Δ$ の上の連続性より広い．狭義凸性のほうは本文どおり $Δ$ の上で述べられている．

閉であることが存在を，凸であることが一意性を担う．二つは別の条件で，証明の中でも別の場所で効いている．閉であることは最大値定理を当てるところで，凸であることは中点をとって狭義凸性を当てるところである．本節でこの存在と一意性を当てる先は例 11.6.4 と定理 11.6.6 で，どちらも集合が閉かつ凸であることを確かめてから使う．

Pythagoras の不等式

I 射影を選ぶと， $K$ の中の分布から $𝑄$ までの隔たりが，I 射影を経由した二つの隔たりの和を下回らなくなる．次の定理が要求するのは， $K$ が凸であることと，I 射影とその分布がどちらも全点で正であることである．

定理 11.6.3（Pythagoras の不等式）. $X$ を空でない有限アルファベット， $𝑄$ を $X$ 上の全点で正の分布， $K$ を $X$ 上の分布からなる凸集合とする． $𝑄 ⋆$ が $K$ への $𝑄$ の I 射影（定義 11.6.1）で全点で正であり， $˜ 𝑃 \in K$ も全点で正ならば

𝐷 (˜ 𝑃 ∥ 𝑄) \geq 𝐷 (˜ 𝑃 ∥ 𝑄 ⋆) + 𝐷 (𝑄 ⋆ ∥ 𝑄)

である（ $𝐷$ は 1.6 節の相対エントロピー）．

証明. $𝜃 \in [0, 1]$ に対し $˜ 𝑃 𝜃 : = (1 - 𝜃) 𝑄 ⋆ + 𝜃 ˜ 𝑃$ と置く． $K$ は凸だからどの $𝜃 \in [0, 1]$ でも $˜ 𝑃 𝜃 \in K$ である． $𝑄 ⋆$ と $˜ 𝑃$ はどちらも全点で正だから， $𝜃 \in [0, 1]$ ではどの文字でも $˜ 𝑃 𝜃 (𝑎) > 0$ である． $X$ は有限だから， $0$ を含む少し広い開区間の上でも同じことが成り立つ．そこで

Ψ (𝜃) : = \sum 𝑎 ˜ 𝑃 𝜃 (𝑎) l o g ˜ 𝑃 𝜃 (𝑎) 𝑄 (𝑎)

と置くと， $𝜃 \in [0, 1]$ では $Ψ (𝜃) = 𝐷 (˜ 𝑃 𝜃 ‖ 𝑄)$ である．

$Ψ$ を微分する． $˜ 𝑃 𝜃 (𝑎) = 𝑄 ⋆ (𝑎) + 𝜃 (˜ 𝑃 (𝑎) - 𝑄 ⋆ (𝑎))$ は $𝜃$ の $1$ 次式で， $˜ 𝑃 𝜃 (𝑎) > 0$ だから，微積分の計算規則より $Ψ$ は $0$ の近くで微分可能で

Ψ' (𝜃) = \sum 𝑎 (˜ 𝑃 (𝑎) - 𝑄 ⋆ (𝑎)) (l o g ˜ 𝑃 𝜃 (𝑎) 𝑄 (𝑎) + 1)

である（微積分の計算規則の積の法則と対数関数の導関数による）． $˜ 𝑃$ と $𝑄 ⋆$ はどちらも総和が $1$ だから $\sum 𝑎 (˜ 𝑃 (𝑎) - 𝑄 ⋆ (𝑎)) = 0$ であり， $𝜃 = 0$ では $˜ 𝑃 0 = 𝑄 ⋆$ だから

Ψ' (0) = \sum 𝑎 (˜ 𝑃 (𝑎) - 𝑄 ⋆ (𝑎)) l o g 𝑄 ⋆ (𝑎) 𝑄 (𝑎)

である．

$Ψ' (0)$ の符号を見る． $𝑄 ⋆$ は I 射影だから， $𝜃 \in (0, 1]$ について $Ψ (𝜃) = 𝐷 (˜ 𝑃 𝜃 ‖ 𝑄) \geq 𝐷 (𝑄 ⋆ ‖ 𝑄) = Ψ (0)$ であり，差分商 $(Ψ (𝜃) - Ψ (0)) / 𝜃$ は非負である． $𝜃$ を $0$ に近づけると，微積分の計算規則より極限は $Ψ' (0)$ であり，極限は広義の不等号を保つから $Ψ' (0) \geq 0$ である．

最後に，示したい不等式の左辺と右辺の差を計算する．1.6 節の定義から

𝐷 (˜ 𝑃 ‖ 𝑄) - 𝐷 (˜ 𝑃 ‖ 𝑄 ⋆) - 𝐷 (𝑄 ⋆ ‖ 𝑄) = \sum 𝑎 ˜ 𝑃 (𝑎) l o g 𝑄 ⋆ (𝑎) 𝑄 (𝑎) - \sum 𝑎 𝑄 ⋆ (𝑎) l o g 𝑄 ⋆ (𝑎) 𝑄 (𝑎)

である（第 $1$ 項と第 $2$ 項で $˜ 𝑃 (𝑎) l o g ˜ 𝑃 (𝑎)$ の和が打ち消し合う）．右辺は $Ψ' (0)$ にほかならないから，これは非負である． $◼$

形式化: csiszar_pythagoras_inequality (ソース)

名前の由来は形にある． $𝑄$ から $K$ の中の $˜ 𝑃$ までの隔たりが， $𝑄$ から I 射影までの隔たりと，I 射影から $˜ 𝑃$ までの隔たりの和以上になっている．直角三角形の斜辺と二辺の関係を，等式ではなく不等式の向きで写したものである．平面で考えると，点から凸集合へいちばん近いところをとったとき，その足を頂点として，もとの点と集合の中のどの点とがなす角は直角以上になる．この不等式はその情報量版である． $𝑄 ⋆$ と $˜ 𝑃$ に全点で正であることを要求している理由は，二つで違う． $𝑄 ⋆$ の正値性は，右辺の $𝐷 (˜ 𝑃 ‖ 𝑄 ⋆)$ が有限であるために要る． $˜ 𝑃$ のほうの正値性は， $𝜃$ が $1$ に届くところまで $˜ 𝑃 𝜃$ の対数をそのまま扱えるようにするための便宜である．本章の以降の証明はこの不等式を使わない．置いてあるのは，I 射影がどういう対象なのかをこの形が示しているからである．

例で見る

例 11.6.4（平均の分かったサイコロ）. 第10章例 10.1.4 の設定を考える．すなわち $X = {1, 2, 3, 4, 5, 6}$ とし，特徴関数を $𝑓 1 (𝑎) = 𝑎$ ，制約の値を $4.5$ とするモーメント制約（定義 10.1.1）を一つ課し，その実行可能集合を $K$ と書く． $𝑈$ を $X$ 上の一様分布， $𝑈 𝑛$ をその $𝑛$ 重の積分布とし， $ˆ 𝑃 𝑥$ を定義 11.1.1 の型とすると，次の四つが成り立つ．

$K$ は空でない閉凸集合であり， $K$ への $𝑈$ の I 射影（定義 11.6.1）がただ一つ存在する．
その I 射影 $𝑄 ⋆$ は， $K$ の上でエントロピーを最大にする分布である．
$𝑛$ が奇数ならば ${𝑥 \in X 𝑛 : ˆ 𝑃 𝑥 \in K}$ は空である．
$𝑈 𝑛 ({𝑥 \in X 𝑛 : ˆ 𝑃 𝑥 \in K})$ が正であるような $𝑛$ に限って考えることにすると，どの $𝜀 > 0$ についても，ある $𝑛 0$ があって， $𝑛 \geq 𝑛 0$ を満たすそのような $𝑛$ のすべてについて

1 𝑛 l o g 𝑈 𝑛 ({𝑥 \in X 𝑛 : ˆ 𝑃 𝑥 \in K}) \leq - 𝐷 (𝑄 ⋆ ∥ 𝑈) + 𝜀

が成り立つ（ $𝐷$ は 1.6 節の相対エントロピー）．

証明.

例 10.1.4 より，目 $4$ と目 $5$ に $1 / 2$ ずつ置いた分布は制約を満たすから $K$ は空でない．閉であることを見る． $K$ に属する分布の列が $ℝ X$ の中で $˜ 𝑃$ に収束するとすると，各成分が収束するから $˜ 𝑃$ の成分は非負で総和は $1$ であり， $˜ 𝑃$ は分布である．また $\sum 𝑎 𝑎 ˜ 𝑃 (𝑎)$ は成分の一次結合だから，列に沿った値 $4.5$ の極限として $\sum 𝑎 𝑎 ˜ 𝑃 (𝑎) = 4.5$ である．よって $˜ 𝑃 \in K$ で， $K$ は閉である．凸であることも見やすい． $\sum 𝑎 𝑎 ˜ 𝑃 (𝑎)$ は $˜ 𝑃$ の一次式だから，制約を満たす二つの分布の凸結合も制約を満たし，分布の凸結合はふたたび分布だからである． $𝑈$ は全点で正だから定理 11.6.2 より I 射影が存在し， $K$ が凸だから高々一つ，すなわちただ一つである．
系 10.1.3 は，実行可能集合に属する分布について「実行可能なすべての分布のエントロピー以上である」ことと「実行可能なすべての分布に対する $𝐷 (\cdot ‖ 𝑈)$ 以下である」ことが同値だと述べている．前者を満たす分布が $K$ の上でエントロピーを最大にする分布，後者を満たす分布が I 射影だから，二つは一致する．
$ˆ 𝑃 𝑥 \in K$ とすると，定義 11.1.1 より $ˆ 𝑃 𝑥 (𝑎) = 𝑁 (𝑎 ∣ 𝑥) / 𝑛$ だから $\sum 𝑎 𝑎 𝑁 (𝑎 ∣ 𝑥) = 4.5 𝑛$ である．左辺は整数だから $4.5 𝑛$ も整数であり， $𝑛$ は偶数である．
$E : = K$ ととる． $K$ に属する長さ $𝑛$ の型 $𝑃'$ は $K$ の元だから，定義 11.6.1 より $𝐷 (𝑄 ⋆ ‖ 𝑈) \leq 𝐷 (𝑃' ‖ 𝑈)$ である．すなわち $𝛾 : = 𝐷 (𝑄 ⋆ ‖ 𝑈)$ は系 11.3.3 の条件を満たす． $𝑈$ は全点で正だから，系 11.3.3 がそのまま主張を与える．

$◼$

形式化上の注記. 例 11.6.4 の主張に対応する宣言は無い．形式化には，具体的な制約を入れて I 射影を計算した実例が置かれていない．

第 $2$ の主張は，第10章の最大エントロピー問題が I 射影の言葉で書き直せることを言っている．この例では，基準を一様分布にとった I 射影が，制約のもとでのエントロピーの最大化と一致した（系 10.1.3）．第 $4$ の主張は，その値が Sanov の指数として読めることを言っている．すなわち，公平なサイコロを $𝑛$ 回振って目の平均がちょうど $4.5$ になる確率は，どの $𝜀 > 0$ をとっても，十分大きい $𝑛$ では $𝑒 - 𝑛 (𝐷 (𝑄 ⋆ ‖ 𝑈) - 𝜀)$ 以下である．確率が正である $𝑛$ に限るという但し書きが要るのは，第 $4$ の主張が $1 𝑛 l o g$ の形で述べられているからで，左辺が定まるには確率が正でなければならない．この但し書きが効く $𝑛$ は実際にある．第 $3$ の主張より， $𝑛$ が奇数なら平均がちょうど $4.5$ になる系列は一本も無く，確率は $0$ である．

上からの評価で止めているのも，第 $3$ の主張のためである．極限まで述べる定理 11.3.7 は，丸め型が十分大きいすべての $𝑛$ で $K$ に属する長さ $𝑛$ の型になっていることを第 $2$ の仮定に置く．ところが $𝑛$ が奇数なら $K$ に属する長さ $𝑛$ の型は一つも無いから，どの分布の丸め型もこの仮定を満たせない．そのため，ここで述べられるのは上界までである．

この指数がどれくらいの大きさなのかを数で見ておく．10.2 節が数値で求めたとおり， $𝑄 ⋆$ は目 $1$ から目 $6$ に確率 $(0.0544, 0.0788, 0.1142, 0.1654, 0.2398, 0.3475)$ を与える分布で，そのエントロピーは約 $1.614$ ナットである．命題 10.1.2 より $𝐷 (𝑄 ⋆ ‖ 𝑈) = l o g 6 - 𝐻 (𝑄 ⋆)$ だから， $l o g 6 \approx 1.792$ ナットを入れると指数は約 $0.178$ ナットになる． $𝑛$ を $100$ にとれば $𝑛 𝐷 (𝑄 ⋆ ‖ 𝑈)$ は約 $17.8$ で， $𝑒 - 17.8$ は $2 \times 10 - 8$ ほどである．目の平均がちょうど $4.5$ になる確率が小さくなる速さは，この桁である．

誤りの指数のトレードオフ

定義 11.6.5（制約集合と誤りの指数のトレードオフ）. $X$ を空でない有限アルファベット， $𝑃$ ， $𝑄$ を $X$ 上の全点で正の分布， $𝑡 \geq 0$ を実数とする．

K (𝑡) : = {˜ 𝑃 : ˜ 𝑃 は X 上の分布で 𝐷 (˜ 𝑃 ‖ 𝑃) \leq 𝑡}

を 制約集合，

𝐸 * (𝑡) : = i n f {𝐷 (˜ 𝑃 ‖ 𝑄) : ˜ 𝑃 \in K (𝑡)}

を 誤りの指数のトレードオフ関数 と呼ぶ（ $𝐷$ は 1.6 節の相対エントロピー）．

$K (𝑡)$ は $𝑃$ を中心にした「隔たり $𝑡$ 以内」の分布の集まり（第9章定義 9.1.5 が同じ「制約集合」の語で呼ぶのはレート歪みの条件付き分布の集合で，別の対象である）であり， $𝑡$ を大きくすると大きくなる．下限をとる範囲が広がるのだから， $𝐸 * (𝑡)$ は $𝑡$ について大きくならない． $𝑡$ を大きくとるほど第一種の誤りに保証される速さは上がり，そのぶん第二種の誤りの落ちる速さは下がる，という引き合いがこの単調性に表れている．下限が最小値として達成されることを次に見る．

形式化: hoeffdingConstraintSet，hoeffdingE2 (ソース)

定理 11.6.6. $X$ を空でない有限アルファベット， $𝑃$ ， $𝑄$ を $X$ 上の全点で正の分布， $𝑡 \geq 0$ を実数とし， $K (𝑡)$ ， $𝐸 * (𝑡)$ を定義 11.6.5 のとおりとする．このとき $K (𝑡)$ は空でない閉凸集合であり， $𝐸 * (𝑡)$ は最小値として達成され，それを達成する分布はただ一つである．

証明. 空でないことを見る．1.6 節の定義から $𝐷 (𝑃 ‖ 𝑃) = 0$ であり， $𝑡 \geq 0$ だから $𝑃 \in K (𝑡)$ である．

閉であることを見る． $K (𝑡)$ に属する分布の列が $ℝ X$ の中で $˜ 𝑃$ に収束するとすると，各成分が収束するから $˜ 𝑃$ の成分は非負で総和は $1$ であり， $˜ 𝑃$ は分布である．定理 11.6.2 より $𝐷 (\cdot ‖ 𝑃)$ は分布全体のなす集合の上で連続だから，列に沿った $𝐷 (\cdot ‖ 𝑃)$ の値は $𝐷 (˜ 𝑃 ‖ 𝑃)$ に収束する．どの項の値も $𝑡$ 以下だから，極限も $𝑡$ 以下であり， $˜ 𝑃 \in K (𝑡)$ である．

凸であることを見る．定理 11.6.2 より $𝐷 (\cdot ‖ 𝑃)$ は分布全体のなす集合の上で狭義凸であり，とくに凸である． $K (𝑡)$ の二つの分布と $𝜃 \in [0, 1]$ に対し，その凸結合はふたたび分布で， $𝐷 (\cdot ‖ 𝑃)$ の値は二つの値の重み付き平均以下だから $𝑡$ 以下である．よって凸結合も $K (𝑡)$ に属する．

最後に， $𝑄$ は全点で正で $K (𝑡)$ は空でない閉集合だから，定理 11.6.2 より $K (𝑡)$ への $𝑄$ の I 射影 $𝑄 ⋆$ が存在する．定義 11.6.1 より $𝐷 (𝑄 ⋆ ‖ 𝑄)$ は定義 11.6.5 の下限をとる集合の最小値だから， $𝐸 * (𝑡) = 𝐷 (𝑄 ⋆ ‖ 𝑄)$ である． $K (𝑡)$ は凸だから，ふたたび定理 11.6.2 より I 射影は高々一つで，最小値を達成する分布はただ一つである． $◼$

形式化: 空でないこと hoeffdingConstraintSet_nonempty，閉であること hoeffdingConstraintSet_isClosed，最小値の達成 hoeffdingE2_attained，達成する分布の一意性 hoeffdingE2_unique (ソース)，凸であること hoeffdingConstraintSet_convex (ソース)

命題 11.6.7（トレードオフ関数の両端の値）. $X$ を空でない有限アルファベット， $𝑃$ ， $𝑄$ を $X$ 上の全点で正の分布とし， $K (𝑡)$ ， $𝐸 * (𝑡)$ を定義 11.6.5 のとおりとする．このとき $𝐸 * (0) = 𝐷 (𝑃 ‖ 𝑄)$ である．また実数 $𝑡$ が $𝑡 \geq 𝐷 (𝑄 ‖ 𝑃)$ を満たすならば $𝐸 * (𝑡) = 0$ である（ $𝐷$ は 1.6 節の相対エントロピー）．

証明. $𝑡 = 0$ のときを見る．定理 1.6.1 より $𝐷 (˜ 𝑃 ‖ 𝑃) \geq 0$ であり，等号は $˜ 𝑃 = 𝑃$ のときに限る．したがって $K (0) = {𝑃}$ であり，定義 11.6.5 の下限は一点の上の下限だから $𝐸 * (0) = 𝐷 (𝑃 ‖ 𝑄)$ である．

$𝑡 \geq 𝐷 (𝑄 ‖ 𝑃)$ のときを見る．定理 1.6.1 より $𝐷 (𝑄 ‖ 𝑃) \geq 0$ だから $𝑡 \geq 0$ であり，定義 11.6.5 が使える． $𝑄$ 自身が $𝐷 (𝑄 ‖ 𝑃) \leq 𝑡$ を満たすから $𝑄 \in K (𝑡)$ であり， $𝐷 (𝑄 ‖ 𝑄) = 0$ だから $𝐸 * (𝑡) \leq 0$ である．いっぽう定理 1.6.1 より $K (𝑡)$ のどの分布 $˜ 𝑃$ でも $𝐷 (˜ 𝑃 ‖ 𝑄) \geq 0$ だから，下限も $0$ 以上である．よって $𝐸 * (𝑡) = 0$ である． $◼$

形式化: 後半 hoeffdingE2_eq_zero_at_alpha_ge_kl (ソース)

形式化上の注記. 前半に対応する単独の宣言は無い．制約集合が $𝑡 = 0$ で一点になることは hoeffdingConstraintSet_eq_singleton_at_alpha_zero (InformationTheory/Shannon/Hoeffding/BoundaryMinimizer.lean) にあり，前半はそれと hoeffdingE2 (InformationTheory/Shannon/Chernoff/Basic.lean) の定義の合成として得られる．

両端の値には見覚えがある． $𝐸 * (0) = 𝐷 (𝑃 ‖ 𝑄)$ の右辺は，11.4 節が第二種の誤りの指数を下から押さえた値（系 11.4.7）と同じ数である．ただし系 11.4.7 が測るのは水準 $𝜀$ のもとでの最良の第二種の誤り（定義 11.4.3）であり，本節が測るのは次に作る特定の受容域の族についての極限である．二つは別の量で，値が同じだというだけである．もう一方の端 $𝑡 \geq 𝐷 (𝑄 ‖ 𝑃)$ では $𝐸 * (𝑡) = 0$ になる．制約が緩くて $𝑄$ 自身が制約集合に入ってしまうと， $𝑄$ から見て指数で落ちる理由が無くなる，ということである．

指数水準の検定

受容域は，型が $𝑃$ から相対エントロピーで測って $𝑡$ 以内にある系列を集めて作る．二つの誤りのうち第一種のほうは，11.3 節の上界だけで片づく．受容域の外に落ちるのは型が $𝑃$ から $𝑡$ より遠い系列であり，その確率は，定理 11.3.2 の参照する分布を $𝑃$ にとった形でそのまま抑えられるからである．

命題 11.6.8（指数水準の検定の第一種の誤り）. $X$ を空でない有限アルファベット， $𝑃$ を $X$ 上の全点で正の分布， $𝑡 \geq 0$ を実数とし， $ˆ 𝑃 𝑥$ と $T 𝑛$ を定義 11.1.1 のとおりとする． $𝛼 𝑛$ は定義 11.4.1 のとおりとし，その定義が対 $(𝑃, 𝑄)$ に対して与えられているので $X$ 上の分布 $𝑄$ を一つ固定する（結論は $𝑄$ に依らない）．各 $𝑛 \geq 1$ について

A 𝑛 : = ⋃ {T 𝑛 (𝑃') : 𝑃' は長さ 𝑛 の型で 𝐷 (𝑃' ‖ 𝑃) \leq 𝑡}

と定めると，どの $𝑛 \geq 1$ でも

𝛼 𝑛 (A 𝑛) \leq (𝑛 + 1) | X | 𝑒 - 𝑛 𝑡

である．とくに， $𝛼 𝑛 (A 𝑛)$ が正であるような $𝑛$ に限って考えることにすると，どの $𝜀 > 0$ についても，ある $𝑛 0$ があって， $𝑛 \geq 𝑛 0$ を満たすそのような $𝑛$ のすべてについて

- 1 𝑛 l o g 𝛼 𝑛 (A 𝑛) \geq 𝑡 - 𝜀

が成り立つ（ $𝐷$ は 1.6 節の相対エントロピー）．

証明. どの系列もただ一つの型をもつ（定義 11.1.1）から， $A 𝑛$ は型が $𝐷 (\cdot ‖ 𝑃) \leq 𝑡$ を満たす系列の全体であり，その補集合は $𝐷 (ˆ 𝑃 𝑥 ‖ 𝑃) > 𝑡$ を満たす系列の全体である．そこで $E : = {˜ 𝑃 : ˜ 𝑃 は X 上の分布で 𝐷 (˜ 𝑃 ‖ 𝑃) > 𝑡}$ と置くと $A c 𝑛 = {𝑥 \in X 𝑛 : ˆ 𝑃 𝑥 \in E}$ であり，定義 11.4.1 より $𝛼 𝑛 (A 𝑛) = 𝑃 𝑛 (A c 𝑛)$ である（ $𝑃 𝑛$ は $𝑃$ の $𝑛$ 重の積分布）．

$E$ に属する長さ $𝑛$ の型 $𝑃'$ はどれも $𝐷 (𝑃' ‖ 𝑃) > 𝑡$ ，とくに $𝑡 \leq 𝐷 (𝑃' ‖ 𝑃)$ を満たすから， $𝛾 : = 𝑡$ は定理 11.3.2 の条件を満たす． $𝑃$ は全点で正だから，参照する分布として $𝑃$ をとって定理 11.3.2 を当てると，その第 $1$ の不等式が第 $1$ の主張である．

第 $2$ の主張に移る． $𝛼 𝑛 (A 𝑛) > 0$ ならば定理 11.3.2 の第 $2$ の不等式が使えて $1 𝑛 l o g 𝛼 𝑛 (A 𝑛) \leq - 𝑡 + | X | l o g (𝑛 + 1) 𝑛$ であり，符号を変えると $- 1 𝑛 l o g 𝛼 𝑛 (A 𝑛) \geq 𝑡 - | X | l o g (𝑛 + 1) 𝑛$ である．補題 11.2.2 と， $| X |$ が $𝑛$ に依らない有限の数であることから $| X | l o g (𝑛 + 1) 𝑛 \to 0$ なので，与えられた $𝜀$ に対してこの項を $𝜀$ 以下にする $𝑛 0$ がとれる． $◼$

形式化上の注記. 命題 11.6.8 に対応する単独の宣言は無い．typeClassByCount_union_Qn_le_inf と typeCountIndex_card（どちらも InformationTheory/Shannon/Sanov/LDP.lean）に，参照する分布として $𝑃$ を，型の集合として $𝐷 (\cdot ‖ 𝑃) > 𝑡$ を満たすものをとって当てれば得られる．この受容域の族について機械検証されているのは，定理 11.6.9 が扱う第二種の誤りの側だけである．

第一種の誤りの落ちる速さは，少なくとも指数 $𝑡$ である． $𝑡$ は受容域を切る幅として置いた数だったが，そのまま第一種の誤りの指数の下界になる．第二種の誤りのほうは，これほど直には出ない．

定理 11.6.9（指数水準の検定の第二種の誤り）. $X$ を空でない有限アルファベット， $𝑃$ ， $𝑄$ を $X$ 上の全点で正の分布， $𝑄 𝑛$ を $𝑄$ の $𝑛$ 重の積分布， $𝑡 > 0$ を実数とし， $K (𝑡)$ ， $𝐸 * (𝑡)$ を定義 11.6.5， $T 𝑛$ を定義 11.1.1 のとおりとする．各 $𝑛 \geq 1$ について

A 𝑛 : = ⋃ {T 𝑛 (𝑃') : 𝑃' は長さ 𝑛 の型で 𝐷 (𝑃' ‖ 𝑃) \leq 𝑡}

と定めると，十分大きい $𝑛$ で $𝑄 𝑛 (A 𝑛)$ は正であり

- 1 𝑛 l o g 𝑄 𝑛 (A 𝑛) ⟶ 𝐸 * (𝑡) (𝑛 \to \infty)

である．

証明. どの系列もただ一つの型をもつ（定義 11.1.1）から， $A 𝑛 = {𝑥 \in X 𝑛 : ˆ 𝑃 𝑥 \in K (𝑡)}$ である．以下 $E : = K (𝑡)$ ととって 11.3 節の二つを当てる．

上からの評価から見る． $K (𝑡)$ に属する長さ $𝑛$ の型 $𝑃'$ について，定義 11.6.5 より $𝐷 (𝑃' ‖ 𝑄) \geq 𝐸 * (𝑡)$ である（ $𝐸 * (𝑡)$ は下限だから）．すなわち $𝛾 : = 𝐸 * (𝑡)$ は系 11.3.3 の条件を満たす．よってどの $𝜀 > 0$ についても，ある $𝑛 0$ があって， $𝑛 \geq 𝑛 0$ かつ $𝑄 𝑛 (A 𝑛) > 0$ であるかぎり $1 𝑛 l o g 𝑄 𝑛 (A 𝑛) \leq - 𝐸 * (𝑡) + 𝜀$ である．

下からの評価に移る．最小化子 $𝑄 ⋆$ をそのまま丸めても，その丸め型が $K (𝑡)$ に入る保証はない． $𝑄 ⋆$ は制約 $𝐷 (\cdot ‖ 𝑃) \leq 𝑡$ の境界に乗っていることがあるからである．そこで $𝑃$ の側へ少しだけ寄せて制約の内側に入れ，寄せ幅を $0$ に近づけて損を消す． $𝜃 \in (0, 1)$ を一つとり， $𝑄 ⋆$ を定理 11.6.6 の与える最小化子として $˜ 𝑃 : = (1 - 𝜃) 𝑄 ⋆ + 𝜃 𝑃$ と置く． $˜ 𝑃$ は分布であり，定理 11.6.2 の狭義凸性（とくに凸性）と $𝐷 (𝑃 ‖ 𝑃) = 0$ （1.6 節の定義）から

𝐷 (˜ 𝑃 ‖ 𝑃) \leq (1 - 𝜃) 𝐷 (𝑄 ⋆ ‖ 𝑃) \leq (1 - 𝜃) 𝑡 < 𝑡

である（ $𝑄 ⋆ \in K (𝑡)$ と $𝑡 > 0$ による）．同じ凸性から

𝐷 (˜ 𝑃 ‖ 𝑄) \leq (1 - 𝜃) 𝐷 (𝑄 ⋆ ‖ 𝑄) + 𝜃 𝐷 (𝑃 ‖ 𝑄) = (1 - 𝜃) 𝐸 * (𝑡) + 𝜃 𝐷 (𝑃 ‖ 𝑄)

である．

$˜ 𝑃$ の丸め型が最終的に $K (𝑡)$ に入ることを見る． $X$ は空でないから文字 $𝑎 0$ を一つ選び， $˜ 𝑃 𝑛$ を $𝑎 0$ を端数の引き受け手とする $˜ 𝑃$ の丸め型（定義 11.3.4）とする．補題 11.3.5 より，どの $𝑛 \geq 1$ でも $˜ 𝑃 𝑛$ は長さ $𝑛$ の型であり，どの文字でも $˜ 𝑃 𝑛 (𝑎) \to ˜ 𝑃 (𝑎)$ である．定理 11.6.2 の連続性から $𝐷 (˜ 𝑃 𝑛 ‖ 𝑃) \to 𝐷 (˜ 𝑃 ‖ 𝑃)$ である． $𝐷 (˜ 𝑃 ‖ 𝑃) < 𝑡$ だから，十分大きいすべての $𝑛$ で $𝐷 (˜ 𝑃 𝑛 ‖ 𝑃) \leq 𝑡$ ，すなわち $˜ 𝑃 𝑛 \in K (𝑡)$ である．

$𝑄$ は全点で正だから，定理 11.3.6 を $E : = K (𝑡)$ ，端数の引き受け手 $𝑎 0$ ととって当てることができ，十分大きい $𝑛$ で $𝑄 𝑛 (A 𝑛)$ は正であり

l i m i n f 𝑛 \to \infty 1 𝑛 l o g 𝑄 𝑛 (A 𝑛) \geq - 𝐷 (˜ 𝑃 ‖ 𝑄) \geq - ((1 - 𝜃) 𝐸 * (𝑡) + 𝜃 𝐷 (𝑃 ‖ 𝑄))

である．左辺は $𝜃$ に依らず，右辺は $𝜃$ を $0$ に近づけると $- 𝐸 * (𝑡)$ に収束するから，下極限は $- 𝐸 * (𝑡)$ 以上である．

二つを合わせる．十分大きい $𝑛$ で $𝑄 𝑛 (A 𝑛)$ は正だから，上からの評価より上極限は $- 𝐸 * (𝑡) + 𝜀$ 以下で， $𝜀 > 0$ は任意だから $- 𝐸 * (𝑡)$ 以下である．下極限が $- 𝐸 * (𝑡)$ 以上だったから， $1 𝑛 l o g 𝑄 𝑛 (A 𝑛)$ は $- 𝐸 * (𝑡)$ に収束する．符号を変えれば主張を得る． $◼$

形式化上の注記. 定理 11.6.9 に対応する宣言は hoeffding_tradeoff_exp (InformationTheory/Shannon/Hoeffding/TradeoffExp.lean) である．受容域の定め方（E_r と steinTypeII_exp，同じファイル）は本文の $A 𝑛$ と同じだが，覆っている範囲が本文より狭い．宣言は $𝑡 > 0$ に加えて $𝑡 < 𝐷 (𝑄 ‖ 𝑃)$ を仮定に置いているので，そのまま引ける範囲はここまでである．

述べているのは，この受容域の族についての極限である．水準 $𝑡$ の検定のうちこれが最良である，とは言っていない．最良性は本書では示さず，形式化にも無い．興味があるのは $0 < 𝑡 < 𝐷 (𝑄 ‖ 𝑃)$ の範囲である．というのも， $𝑡 \geq 𝐷 (𝑄 ‖ 𝑃)$ では命題 11.6.7 より $𝐸 * (𝑡) = 0$ で，第二種の誤りが指数で落ちることが言えないからである．

「トレードオフ」という名の由来も，これでそろった． $𝑡$ を大きくとるほど受容域は広がり，第一種の誤り（定義 11.4.1）の落ちる速さは $𝑡$ まで保証される（命題 11.6.8）一方で，第二種の誤りの落ちる速さは $𝐸 * (𝑡)$ まで下がる（定理 11.6.9）．一方を厳しくすると他方で払うものが増える，という関係を $𝐸 *$ の単調性が表している．第一種の誤りに課す指数の水準 $𝑡$ と，そのときの第二種の誤りの指数とを結ぶこの関数は，Hoeffding の名で呼ばれる．

数値で見る

例 11.6.10（二値のトレードオフ曲線）. $X = {0, 1}$ とし， $𝑃$ を $𝑃 (0) = 0.1$ ， $𝑃 (1) = 0.9$ ， $𝑄$ を $𝑄 (0) = 𝑄 (1) = 1 / 2$ で定まる分布とする． $K (𝑡)$ ， $𝐸 * (𝑡)$ を定義 11.6.5， $𝐶 *$ を定義 11.5.3， $𝑃 𝜆$ を定義 11.5.9， $𝐻 𝑏$ を例 1.1.2 の二値エントロピー関数とすると，次の三つが成り立つ．

$𝐸 * (0)$ の値は約 $0.3681$ ナットである．また $𝐷 (𝑄 ‖ 𝑃)$ の値は約 $0.5108$ ナットで， $𝑡 \geq 𝐷 (𝑄 ‖ 𝑃)$ ならば $𝐸 * (𝑡) = 0$ である（ $𝐷$ は 1.6 節の相対エントロピー）．
実数 $𝑡 \geq 0$ と $X$ 上の分布 $˜ 𝑃$ が $˜ 𝑃 (0) \in [0.1, 0.5]$ と $𝐷 (˜ 𝑃 ‖ 𝑃) = 𝑡$ を満たすならば， $𝐸 * (𝑡) = l o g 2 - 𝐻 𝑏 (˜ 𝑃 (0))$ である．
例 11.5.14 の $𝜆 *$ をとり $𝑡 : = 𝐶 * (𝑃, 𝑄)$ ， $˜ 𝑃 : = 𝑃 𝜆 *$ とおくと，第 $2$ の主張の条件が満たされ $𝐸 * (𝐶 * (𝑃, 𝑄)) = 𝐶 * (𝑃, 𝑄)$ である．その値は約 $0.1124$ ナットである．

証明.

命題 11.6.7 より $𝐸 * (0) = 𝐷 (𝑃 ‖ 𝑄)$ であり，例 11.5.14 の第 $3$ の主張よりその値は $0.36806 \dots$ である． $𝐷 (𝑄 ‖ 𝑃)$ の値も同じ主張より $0.51082 \dots$ であり，後半は命題 11.6.7 の後半そのものである．
まず $˜ 𝑃 \in K (𝑡)$ だから $𝐸 * (𝑡) \leq 𝐷 (˜ 𝑃 ‖ 𝑄)$ である．補題 11.2.5 より， $X$ 上のどの分布 $˜ 𝑃'$ についても $𝐷 (˜ 𝑃' ‖ 𝑄) = l o g 2 - 𝐻 𝑏 (˜ 𝑃' (0))$ だから，これは $𝐸 * (𝑡) \leq l o g 2 - 𝐻 𝑏 (˜ 𝑃 (0))$ ということである．

逆向きを示すには， $K (𝑡)$ のどの分布 $˜ 𝑃'$ でも $𝐻 𝑏 (˜ 𝑃' (0)) \leq 𝐻 𝑏 (˜ 𝑃 (0))$ であることを見ればよい． $˜ 𝑃' (0) \leq ˜ 𝑃 (0)$ の場合は， $˜ 𝑃 (0) \leq 1 / 2$ だから補題 9.3.1 の第 $3$ の主張がそのまま与える． $˜ 𝑃' (0) > ˜ 𝑃 (0)$ の場合を見る． $˜ 𝑃 (0) = 0.1$ すなわち $˜ 𝑃 = 𝑃$ ならば $𝑡 = 𝐷 (𝑃 ‖ 𝑃) = 0$ であり， $𝐷 (˜ 𝑃' ‖ 𝑃) \leq 0$ と定理 1.6.1 から $˜ 𝑃' = 𝑃$ となって $˜ 𝑃' (0) > ˜ 𝑃 (0)$ に反する．そこで $˜ 𝑃 (0) > 0.1$ とする．このとき

𝜃 : = ˜ 𝑃 (0) - 0.1 ˜ 𝑃' (0) - 0.1 \in (0, 1)

と置くと， $(1 - 𝜃) 𝑃 + 𝜃 ˜ 𝑃'$ の第 $0$ 成分は $0.1 + 𝜃 (˜ 𝑃' (0) - 0.1) = ˜ 𝑃 (0)$ であり，二値だから第 $1$ 成分も一致して $(1 - 𝜃) 𝑃 + 𝜃 ˜ 𝑃' = ˜ 𝑃$ である． $𝑃 \neq ˜ 𝑃'$ （第 $0$ 成分が違う）だから，定理 11.6.2 の狭義凸性より

𝐷 (˜ 𝑃 ‖ 𝑃) < (1 - 𝜃) 𝐷 (𝑃 ‖ 𝑃) + 𝜃 𝐷 (˜ 𝑃' ‖ 𝑃) = 𝜃 𝐷 (˜ 𝑃' ‖ 𝑃) \leq 𝐷 (˜ 𝑃' ‖ 𝑃)

である（最後の不等号は定理 1.6.1 より $𝐷 (˜ 𝑃' ‖ 𝑃) \geq 0$ であることによる）．左辺は $𝑡$ だから $𝐷 (˜ 𝑃' ‖ 𝑃) > 𝑡$ となり， $˜ 𝑃' \in K (𝑡)$ に反する．よってこの場合は起こらない．

以上より， $K (𝑡)$ のどの分布 $˜ 𝑃'$ でも $𝐷 (˜ 𝑃' ‖ 𝑄) = l o g 2 - 𝐻 𝑏 (˜ 𝑃' (0)) \geq l o g 2 - 𝐻 𝑏 (˜ 𝑃 (0))$ である． $˜ 𝑃$ 自身が $K (𝑡)$ に属するから，下限はこの値であり， $𝐸 * (𝑡) = l o g 2 - 𝐻 𝑏 (˜ 𝑃 (0))$ を得る．

例 11.5.14 の第 $2$ の主張より $𝑃 𝜆 * (0) = 0.26751 \dots$ で，これは $[0.1, 0.5]$ に属する．また命題 11.5.11 より $𝐷 (𝑃 𝜆 * ‖ 𝑃) = 𝐶 * (𝑃, 𝑄)$ であり，命題 11.5.7 より $𝐶 * (𝑃, 𝑄) \geq 0$ だから， $𝑡 : = 𝐶 * (𝑃, 𝑄)$ ， $˜ 𝑃 : = 𝑃 𝜆 *$ は第 $2$ の主張の条件を満たす．よって $𝐸 * (𝐶 * (𝑃, 𝑄)) = l o g 2 - 𝐻 𝑏 (𝑃 𝜆 * (0))$ である．いっぽう命題 11.5.11 より $𝐶 * (𝑃, 𝑄) = 𝐷 (𝑃 𝜆 * ‖ 𝑄)$ であり，補題 11.2.5 を $𝑃 𝜆 *$ に当てると，これも $l o g 2 - 𝐻 𝑏 (𝑃 𝜆 * (0))$ に等しい．二つは同じ数だから $𝐸 * (𝐶 * (𝑃, 𝑄)) = 𝐶 * (𝑃, 𝑄)$ であり，例 11.5.14 の第 $3$ の主張よりその値は $0.11237 \dots$ である．

$◼$

形式化上の注記. 例 11.6.10 の数値に対応する宣言は無い．形式化には，具体的な分布を入れてトレードオフ関数を計算した実例が置かれていない．

第 $2$ の主張は， $˜ 𝑃 (0)$ を $[0.1, 0.5]$ で動かすたびに $(𝑡, 𝐸 * (𝑡))$ の対を一つ与える．いくつかとって並べると，曲線の形が見える（値はどれも 1.6 節の相対エントロピーの定義と例 1.1.2 の $𝐻 𝑏$ から計算した近似値で，単位はナットである）．

˜ 𝑃 (0) 0.1 0.15 0.2 0.2675 0.3 0.4 0.5 𝑡 0 0.0122 0.0444 0.1124 0.1537 0.3112 0.5108 𝐸 * (𝑡) 0.3681 0.2704 0.1927 0.1124 0.0823 0.0201 0

表を左から右へ読むと $𝑡$ が増え， $𝐸 * (𝑡)$ が減る． $˜ 𝑃 (0) = 0.2675 \dots$ の列では $𝑡$ と $𝐸 * (𝑡)$ が同じ値になっており，そこが第 $3$ の主張の点である． $𝑡 = 𝐸 * (𝑡)$ とは，第一種の誤りに保証される指数と第二種の誤りの指数とが一致する点であり，二つを同じ重みで足す Bayes 誤り確率の指数がそこに現れるのは自然である．

第 $3$ の主張は，Chernoff 情報がこの曲線の上の一点として現れることを言っている．制約の広さを測る $𝑡$ と，そこでの値 $𝐸 * (𝑡)$ が一致する点が一つとれ，その値が $𝐶 * (𝑃, 𝑄)$ である．11.5 節が二つの誤りを対等に扱って出した数が，第一種の誤りに制約を課す立て方の中では，二つが釣り合う点として現れている．曲線の左端の値は $𝐸 * (0) = 𝐷 (𝑃 ‖ 𝑄) = 0.3681$ で，これは制約集合が $𝑃$ 一点になったときの値である（命題 11.6.7）．右端では $𝑡 = 𝐷 (𝑄 ‖ 𝑃) = 0.5108$ で $𝐸 * (𝑡) = 0$ になり，そこから先では定理 11.6.9 の極限も $0$ である．

本章は，型という一つの道具から三つの指数を測ってきた．型類の確率の指数（定理 11.2.1），経験分布が指定した集合に落ちる確率の指数（定理 11.3.7），そして検定の誤りの指数（系 11.4.7，系 11.5.8 と定理 11.5.13，定理 11.6.9）である．どれも相対エントロピーで書けており，最後の定理 11.6.9 は，制約を満たす分布の中で相対エントロピーを最小にするという定理 11.3.7 と同じ形に収まった．めったに起きない事象がどれだけ速く起きにくくなるかは，その事象を実現する分布のうち，測っている分布にいちばん近いもの一つで決まる．定理 11.3.7 と定理 11.6.9 が共通して述べているのはそのことである．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．