5.3 倍加率とエントロピー

定理 5.2.1 で，賭け手が達成できる倍加率の最大値が $𝑊 (𝑝, 𝑜, 𝑝)$ に決まった．次に知りたいのは，この値が何で決まるのかである．賭けの結果はオッズと真の分布の両方に左右されるが，最大値のほうはこの二つがきれいに分かれた形に書ける．しかも分布の効きぶんはエントロピーそのものであり，ここで第1章の量が賭けの場面に戻ってくる．

保存則

定理 5.3.1. $X$ を有限アルファベット， $𝑜$ を $X$ 上のオッズ（定義 5.1.1）， $𝑝$ を $X$ 上のすべての $𝑥 \in X$ で正な分布とし， $𝑋$ を $X$ 上に分布 $𝑝$ をもつ確率変数とする．このとき

𝑊 (𝑝, 𝑜, 𝑝) = \sum 𝑥 \in X 𝑝 (𝑥) l o g 𝑜 (𝑥) - 𝐻 (𝑋),

すなわち

𝑊 (𝑝, 𝑜, 𝑝) + 𝐻 (𝑋) = \sum 𝑥 \in X 𝑝 (𝑥) l o g 𝑜 (𝑥)

である．

証明. すべての $𝑥$ で $𝑝 (𝑥) > 0$ かつ $𝑜 (𝑥) > 0$ だから $l o g (𝑝 (𝑥) 𝑜 (𝑥)) = l o g 𝑝 (𝑥) + l o g 𝑜 (𝑥)$ である．定義 5.1.3 の和をこの二つに分けると

𝑊 (𝑝, 𝑜, 𝑝) = \sum 𝑥 𝑝 (𝑥) l o g 𝑜 (𝑥) + \sum 𝑥 𝑝 (𝑥) l o g 𝑝 (𝑥)

となる．第 2 項は定義 1.1.1 より $- 𝐻 (𝑋)$ に等しい．移項すれば第 2 の式を得る． $◼$

形式化: doublingRate_proportional_eq，和の形 doublingRate_proportional_add_entropy (ソース)

形式化上の注記. 形式化がここで引くエントロピーは，アルファベット上の関数としての分布から直に組んだ和であって，定理の主張では名前のついた宣言を経由していない（同じ和には entropyOfFn (InformationTheory/Fano/Entropy.lean) として別に名前がついている）．第1章 1.1 節が紐付けた entropy (InformationTheory/Shannon/Bridge.lean) は確率変数の像測度について述べたもので，値はどちらも $𝐻 (𝑋)$ で一致するが，単独の宣言としては別のものである．

第 2 の式は保存則として読める．右辺 $\sum 𝑥 𝑝 (𝑥) l o g 𝑜 (𝑥)$ はオッズと分布だけで決まり，賭け手がどう賭けるかには関わらない．左辺は賭け手が稼げるぶん $𝑊 (𝑝, 𝑜, 𝑝)$ と，勝ち馬の不確かさ $𝐻 (𝑋)$ の和である．つまり分布とオッズを固定すると，稼ぎと不確かさの和は動かせない一定の量になる．賭ける前に何かを知れば，勝ち馬の不確かさは平均として下がる．そのぶんがそのまま稼ぎに移るのかどうかは，右辺が観測のあとでも平均として動かないかどうかで決まる．知るというのは分布を条件付き分布に取り替えることだから，右辺も観測値ごとに変わってしまい，この保存則だけでは決まらない．それを 5.4 節で確かめる．エントロピーは第1章では「平均驚き量」，第4章では「平均符号長の下界」だったが，ここでは「稼ぎ損ねるぶん」として現れる．

系 5.3.2. $X$ を有限アルファベット， $𝑝$ を $X$ 上のすべての $𝑥 \in X$ で正な分布とし， $𝑋$ を $X$ 上に分布 $𝑝$ をもつ確率変数とする．すべての $𝑥 \in X$ で $𝑜 (𝑥) = | X |$ であるオッズ（定義 5.1.1）について

𝑊 (𝑝, 𝑜, 𝑝) = l o g | X | - 𝐻 (𝑋)

である．とくに $𝑊 (𝑝, 𝑜, 𝑝) \geq 0$ であり，等号は $𝑝$ が $X$ 上の一様分布のとき，かつそのときに限る．

証明. 定理 5.3.1 の右辺に $𝑜 (𝑥) = | X |$ を入れると， $\sum 𝑥 𝑝 (𝑥) l o g | X | = l o g | X |$ だから等式を得る．定理 1.1.5 より $𝐻 (𝑋) \leq l o g | X |$ であり，等号は $𝑋$ が一様分布のとき，かつそのときに限るから，後半も従う． $◼$

形式化上の注記. 系 5.3.2 に対応する単独の宣言はない．定理 5.3.1 の形式化に $𝑜 (𝑥) = | X |$ を入れると，引かれる第 2 項は entropyOfFn (InformationTheory/Fano/Entropy.lean) そのものだから，同じ型の分布についての最大エントロピー限界 entropyOfFn_le_log_card (InformationTheory/Fano/Entropy.lean) を組めば不等式が出る．等号条件のほうは，制約に使う関数を $0$ にとった entropy_eq_gibbs_iff_of_constraints (InformationTheory/Shannon/MaxEntropy/Constrained.lean) が与える．そのときの Gibbs 分布は gibbsPmf_zero_eq_uniform (InformationTheory/Shannon/MaxEntropy/Constrained.lean) により一様分布だからである．

どの馬にも同じ $| X |$ 倍を返すオッズは，馬のあいだに差をつけないという意味で偏りのないオッズである．全部の馬に均等に賭ければ資産はどう転んでも変わらない．系 5.3.2 が言っているのは，そこに偏った分布をぶつけたぶんだけ稼げるということで，予測しやすい情報源ほど倍加率が大きい．しかも定理 5.2.1 より比例賭けを超える配分はないから，どう賭けても稼げないのは分布まで一様な場合だけであり，そのときは賭け手の側にも偏りの手がかりがない．第1章 1.1 節では $l o g | X | - 𝐻 (𝑋)$ を「偏りのぶんだけ圧縮できる余地」と読んだが，同じ差がここでは $1$ レースあたりに稼げる量になっている．

公平なオッズ

オッズを確率に読み替えてみる．例 5.1.4 では，勝つ確率が $𝑝 (𝑥)$ の馬に $𝑜 (𝑥) = 1 / 𝑝 (𝑥)$ 倍をつけると掛け金と戻りが釣り合った．逆に見れば， $𝑜 (𝑥)$ 倍という倍率は，胴元が $𝑥$ の勝つ見込みを $1 / 𝑜 (𝑥)$ と見積もった結果だと読める．この読み替えがそれ自体で分布になっている場合に，名前をつけておく．

定義 5.3.3（公平なオッズ）. $X$ を有限アルファベット， $𝑜$ を $X$ 上のオッズ（定義 5.1.1）とする． $\sum 𝑥 \in X 1 / 𝑜 (𝑥) = 1$ であるとき， $𝑜$ は公平であるという．

例 5.1.4 のオッズ $𝑜 (𝑥) = 1 / 𝑝 (𝑥)$ は，逆数の総和が $\sum 𝑥 𝑝 (𝑥) = 1$ だから公平である．

命題 5.3.4. $X$ を有限アルファベット， $𝑜$ を $X$ 上のオッズ（定義 5.1.1）， $𝑝$ を $X$ 上のすべての $𝑥 \in X$ で正な分布とする． $𝑜$ が公平（定義 5.3.3）ならば， $𝑞 (𝑥) : = 1 / 𝑜 (𝑥)$ は $X$ 上の分布であって

𝑊 (𝑝, 𝑜, 𝑝) = 𝐷 (𝑝 ‖ 𝑞)

である．とくに $𝑊 (𝑝, 𝑜, 𝑝) \geq 0$ であり，等号は $𝑝 = 𝑞$ のとき，かつそのときに限る．

証明. $𝑜 (𝑥) > 0$ より $𝑞 (𝑥) > 0$ であり，仮定より総和が $1$ だから $𝑞$ は $X$ 上の分布である． $𝑋$ を $X$ 上に分布 $𝑝$ をもつ確率変数とする． $l o g 𝑜 (𝑥) = - l o g 𝑞 (𝑥)$ なので，定理 5.3.1 より

𝑊 (𝑝, 𝑜, 𝑝) = - \sum 𝑥 𝑝 (𝑥) l o g 𝑞 (𝑥) - 𝐻 (𝑋) = \sum 𝑥 𝑝 (𝑥) l o g 𝑝 (𝑥) 𝑞 (𝑥)

となり，右辺は $𝐷 (𝑝 ‖ 𝑞)$ である（第 2 の等号は定義 1.1.1 による）．定理 1.6.1 より $𝐷 (𝑝 ‖ 𝑞) \geq 0$ で，等号は $𝑝 = 𝑞$ のとき，かつそのときに限る． $◼$

形式化上の注記. 命題 5.3.4 に対応する単独の宣言はない． $𝑞$ 自身を配分にとると $𝑞 (𝑥) 𝑜 (𝑥) = 1$ でその倍加率が $0$ になるから，5.2 節が紐付けた等式 doublingRate_gap_eq_klDivPmf (InformationTheory/Shannon/Gambling/Basic.lean) の配分に $𝑞$ を渡せば，そのまま主張の等式が出る．非負性と等号条件は，第1章 1.6 節が紐付けた klDivPmf_nonneg (InformationTheory/Shannon/CsiszarProjection.lean) と klDivPmf_eq_zero_iff_pmf (InformationTheory/Shannon/MaxEntropy/Constrained.lean) である．

命題 5.3.4 は，公平なオッズのもとでの稼ぎが，胴元の見積もり $𝑞$ と真の分布 $𝑝$ の隔たりそのものだと言っている．第1章 1.6 節では $𝐷 (𝑝 ‖ 𝑞)$ を「 $𝑞$ だと思い込んで符号化したために余計に払う符号長」と読んだ．ここで思い込んでいるのは胴元の側で，その損がそのまま賭け手の得になる．胴元が正しく見積もっていれば，賭け手には取り分がない．例 5.1.4 で資産が動かなかったのは $𝑝 = 𝑞$ の場合だったからで，例 5.2.3 のオッズは $1 / 1.2 + 1 / 6 = 1$ を満たすので公平だが $𝑞 \neq 𝑝$ であり，そこには $0.0054 \dots$ の取り分があった．

例 5.3.5（三頭立て）. $X = {1, 2, 3}$ ， $𝑝 (1) = 1 / 2$ ， $𝑝 (2) = 𝑝 (3) = 1 / 4$ ， $𝑜 (1) = 𝑜 (2) = 4$ ， $𝑜 (3) = 2$ とする．このオッズは公平（定義 5.3.3）であり，比例賭けの倍加率は $𝑊 (𝑝, 𝑜, 𝑝) = 0.25$ である．

証明. $1 / 4 + 1 / 4 + 1 / 2 = 1$ だから前半が成り立つ． $𝑋$ を $X$ 上に分布 $𝑝$ をもつ確率変数とし，定理 5.3.1 で計算すると， $\sum 𝑥 𝑝 (𝑥) l o g 𝑜 (𝑥) = 12 \cdot 2 + 14 \cdot 2 + 14 \cdot 1 = 1.75$ であり， $𝐻 (𝑋) = 12 \cdot 1 + 14 \cdot 2 + 14 \cdot 2 = 1.5$ だから $𝑊 (𝑝, 𝑜, 𝑝) = 1.75 - 1.5 = 0.25$ である．命題 5.3.4 でも同じ値が出る． $𝑞 (1) = 𝑞 (2) = 1 / 4$ ， $𝑞 (3) = 1 / 2$ だから $𝐷 (𝑝 ‖ 𝑞) = 12 l o g 2 + 14 l o g 1 + 14 l o g 12 = 12 - 14 = 0.25$ である． $◼$

例 5.3.5 の胴元は $1$ 番の馬を軽く見ており（見積もりが $1 / 4$ なのに真の確率は $1 / 2$ ）， $3$ 番の馬を買いかぶっている．賭け手はその食い違いから $1$ レースあたり $0.25$ の倍加率を得る． $2$ 番の馬については見積もりが真の確率に一致しているが，それでも取り分は残る．命題 5.3.4 の等号条件によれば，取り分が消えるのはすべての馬で見積もりが真の確率に一致したときだけだからである．

胴元の取り分

現実の胴元は，集めた掛け金をそのまま配ってしまっては商売にならない．そこで見積もりの総和を $1$ より大きくとる，すなわち各馬の倍率をいくらか低めにつける．そうすると命題 5.3.4 の $𝑞$ は分布でなくなるが，総和で割れば分布に直せる．

命題 5.3.6. $X$ を有限アルファベット， $𝑜$ を $X$ 上のオッズ（定義 5.1.1）， $𝑝$ を $X$ 上のすべての $𝑥 \in X$ で正な分布とする． $𝐾 : = \sum 𝑥 \in X 1 / 𝑜 (𝑥)$ とおくと $𝐾 > 0$ であり， $𝑟 (𝑥) : = (1 / 𝑜 (𝑥)) / 𝐾$ は $X$ 上の分布であって

𝑊 (𝑝, 𝑜, 𝑝) = 𝐷 (𝑝 ‖ 𝑟) - l o g 𝐾

である．

証明. $X$ には分布 $𝑝$ が載っているから空ではなく， $𝑜 (𝑥) > 0$ より各項 $1 / 𝑜 (𝑥)$ は正だから $𝐾 > 0$ である．よって $𝑟 (𝑥) > 0$ であり，総和は $(\sum 𝑥 1 / 𝑜 (𝑥)) / 𝐾 = 1$ だから $𝑟$ は $X$ 上の分布である． $𝑋$ を $X$ 上に分布 $𝑝$ をもつ確率変数とする． $1 / 𝑜 (𝑥) = 𝐾 𝑟 (𝑥)$ より $l o g 𝑜 (𝑥) = - l o g 𝐾 - l o g 𝑟 (𝑥)$ だから，定理 5.3.1 より

𝑊 (𝑝, 𝑜, 𝑝) = - l o g 𝐾 - \sum 𝑥 𝑝 (𝑥) l o g 𝑟 (𝑥) - 𝐻 (𝑋) = \sum 𝑥 𝑝 (𝑥) l o g 𝑝 (𝑥) 𝑟 (𝑥) - l o g 𝐾

となり（第 2 の等号は定義 1.1.1 による），右辺の和は $𝐷 (𝑝 ‖ 𝑟)$ である． $◼$

形式化上の注記. 命題 5.3.6 に対応する単独の宣言はない． $𝑟$ 自身を配分にとると $𝑟 (𝑥) 𝑜 (𝑥) = 1 / 𝐾$ でその倍加率が $- l o g 𝐾$ になるから，5.2 節が紐付けた等式 doublingRate_gap_eq_klDivPmf (InformationTheory/Shannon/Gambling/Basic.lean) の配分に $𝑟$ を渡せば，そのまま主張の等式が出る．

命題 5.3.6 の $𝐾$ は胴元の取り分を測っている． $𝐾 = 1$ なら集めた額をそのまま配るということで，これが命題 5.3.4 の場合である． $𝐾 > 1$ なら胴元は $l o g 𝐾$ のぶんを手元に残す．そして賭け手の稼ぎは，胴元の見積もり $𝑟$ と真の分布 $𝑝$ の隔たりから，その取り分の対数を引いた値になる．つまり賭け手が勝つには，胴元の見積もり違いが取り分を上回らなければならない．胴元が取り分を大きくとるほど，賭け手に要求される見積もりの優位も大きくなる．なお，逆数の総和 $𝐾$ で割って分布 $𝑟$ を作るこの正規化は，定理 4.3.2 の証明で長さの組から分布を作った操作と同じものである．そこでの $𝐷 - ℓ (𝑥)$ の役を，ここではオッズの逆数 $1 / 𝑜 (𝑥)$ が演じている．

例 5.3.7（取り分が見積もり違いを上回る）. 例 5.1.5 の設定，すなわち $X = {1, 2}$ ， $𝑝 (1) = 0.8$ ， $𝑝 (2) = 0.2$ で，オッズだけを $𝑜 (1) = 𝑜 (2) = 1.6$ に取り替える．このとき $𝐾 = 1.25$ で $𝑟$ は $X$ 上の一様分布であり， $𝐷 (𝑝 ‖ 𝑟) = 0.2780 \dots$ ， $l o g 𝐾 = 0.3219 \dots$ だから，比例賭けの倍加率は $𝑊 (𝑝, 𝑜, 𝑝) = - 0.0438 \dots$ で負である．

証明. $1 / 1.6 + 1 / 1.6 = 1.25$ だから $𝐾 = 1.25$ であり， $𝑟 (1) = 𝑟 (2) = (1 / 1.6) / 1.25 = 1 / 2$ で $𝑟$ は一様分布である． $𝐷 (𝑝 ‖ 𝑟) = 0.8 l o g 0.8 0.5 + 0.2 l o g 0.2 0.5 = 0.8 l o g 1.6 + 0.2 l o g 0.4$ であり，例 5.1.5 と同じ計算で $0.2780 \dots$ になる． $l o g 1.25 = 0.3219 \dots$ だから，命題 5.3.6 より $𝑊 (𝑝, 𝑜, 𝑝) = 0.2780 \dots - 0.3219 \dots = - 0.0438 \dots$ である． $◼$

例 5.3.7 の胴元の見積もりは真の分布から $0.2780 \dots$ 隔たっているのに， $1.6$ 倍という控えめな倍率が $0.3219 \dots$ を取っていくので，賭け手は比例賭けでも負ける．定理 5.2.1 より比例賭けを超える配分はないので，この設定ではどの配分で賭けても倍加率は負である．ただしこれは全額を配分する賭け手についての話である．現金を手元に残す賭け方を配分で再現できるのは逆数の総和が $1$ のときだけで，このオッズはそうなっていない．賭けずにいれば資産は動かないのだから，どの配分で賭けるよりも賭けないほうが有利だということである．本書は定義 5.1.1 の配分だけを扱うので，以下もその範囲で読む．そのとき資産がどうなるかは 5.5 節で見る．なお定理 5.2.1 の等号条件にオッズは現れないから，取り分がいくらであっても最適な配分は比例賭けのままである．胴元の取り分が動かすのは賭け手の選び方ではなく，選んだあとの取り高だけである．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．