5.4 副情報の値打ち

賭ける前に何かを知ることができるとしよう．馬の調子でも，当日の天候でも，事情通の予想でもよい．知ってから賭ければ倍加率は上がるはずだが，どれだけ上がるのかを一つの数で言えるだろうか．本節の答えは，上がるぶんがちょうど相互情報量 $𝐼 (𝑋; 𝑌)$ に等しいというものである．第1章では相互情報量を「二つの確率変数が共有している量」として定義したが，その量が賭けの場面では「 $1$ レースあたり余分に稼げる量」として現れる．情報の値打ちが，そのまま賭けの取り分になる．

観測できるものを $𝑌$ と書く． $(𝑋, 𝑌)$ を有限アルファベット $X \times Y$ に値をとる対とし，第1章の慣用に従って同時分布を $𝑝 (𝑥, 𝑦)$ ，周辺分布を $𝑝 (𝑥)$ と $𝑝 (𝑦)$ ，条件付き分布を $𝑝 (𝑥 ∣ 𝑦)$ と書く． $𝑋$ が勝ち馬， $𝑌$ が賭ける前に観測できる 副情報 である．どの組み合わせも起こりうるとして，すべての $(𝑥, 𝑦)$ で $𝑝 (𝑥, 𝑦) > 0$ を仮定する．この仮定が枠の外に置くのは，条件付き分布 $𝑝 (\cdot ∣ 𝑦)$ がどこか一点で $0$ をとる場合すべてである．そこでは条件付きの比例賭けが定義 5.1.1 の正値性を満たさなくなる．たとえば「 $𝑦$ を見ると $3$ 番だけは来ないと分かる」という部分的な副情報も，これで外れる．いちばん極端なのは副情報が勝ち馬を完全に言い当てる場合で，条件付き分布は一点に集中する．勝ち馬が確実に分かるなら不確かさは $0$ で，定理 5.3.1 の保存則を素直に読めば稼ぎは右辺いっぱいまで届くが，その賭け方は定義 5.1.1 の外にあるので本書は扱わない．賭け手は $𝑌 = 𝑦$ を見てから配分を選べるので，配分は $𝑦$ ごとに一つずつ用意することになる．

定義 5.4.1（条件付き倍加率）. $X$ ， $Y$ を有限アルファベット， $𝑜$ を $X$ 上のオッズ（定義 5.1.1）とする． $(𝑋, 𝑌)$ を $X \times Y$ に値をとる対とし，その同時分布を $𝑝 (𝑥, 𝑦)$ ， $𝑋$ と $𝑌$ の周辺分布を $𝑝 (𝑥) : = \sum 𝑦 \in Y 𝑝 (𝑥, 𝑦)$ と $𝑝 (𝑦) : = \sum 𝑥 \in X 𝑝 (𝑥, 𝑦)$ ，条件付き分布を $𝑝 (𝑥 ∣ 𝑦) : = 𝑝 (𝑥, 𝑦) / 𝑝 (𝑦)$ と書き，すべての $(𝑥, 𝑦)$ で $𝑝 (𝑥, 𝑦) > 0$ であるとする．各 $𝑦 \in Y$ について $𝑏 (\cdot ∣ 𝑦)$ を $X$ 上の賭け金の配分（定義 5.1.1）とし， $𝑦$ を動かしたこの族をまとめて $𝑏$ と書く．条件付き倍加率 を

𝑊 (𝑏, 𝑜 ∣ 𝑌) : = \sum 𝑦 \in Y 𝑝 (𝑦) 𝑊 (𝑏 (\cdot ∣ 𝑦), 𝑜, 𝑝 (\cdot ∣ 𝑦))

で定める．

$𝑝 (𝑥, 𝑦) > 0$ だから $𝑝 (𝑦) > 0$ であり，条件付き分布 $𝑝 (\cdot ∣ 𝑦)$ はすべての $𝑥$ で正である．条件付き倍加率は， $𝑌 = 𝑦$ を見てからその場に応じた配分で賭けたときの倍加率を， $𝑦$ の出方で平均したものであり，定義 1.2.2 の条件付きエントロピーとまったく同じ作り方をしている．

形式化: condDoublingRate (ソース)

形式化上の注記. 形式化は同時分布を， $𝑌$ の分布と条件付き分布の対として与える．本文の $𝑝 (𝑥, 𝑦)$ からは $𝑝 (𝑦)$ と $𝑝 (𝑥 ∣ 𝑦)$ を取り出せばよく，逆にその対からは積で同時分布が戻るので，どちらから出発しても同じものを指している． $𝑋$ の周辺分布も，形式化では条件付き分布を $𝑝 (𝑦)$ で平均する形で別に定めてある（sideMarginalX）．

条件付きの比例賭け

定理 5.4.2. 定義 5.4.1 と同じ記法で， $X$ ， $Y$ を有限アルファベット， $𝑜$ を $X$ 上のオッズ（定義 5.1.1）， $(𝑋, 𝑌)$ を $X \times Y$ に値をとる対で，すべての $(𝑥, 𝑦)$ で $𝑝 (𝑥, 𝑦) > 0$ であるものとする．各 $𝑦 \in Y$ について $𝑏 (\cdot ∣ 𝑦)$ が $X$ 上の賭け金の配分（定義 5.1.1）ならば，条件付き倍加率（定義 5.4.1）について

𝑊 (𝑏, 𝑜 ∣ 𝑌) \leq \sum 𝑦 \in Y 𝑝 (𝑦) 𝑊 (𝑝 (\cdot ∣ 𝑦), 𝑜, 𝑝 (\cdot ∣ 𝑦))

である．

証明. $𝑦 \in Y$ を一つ固定する． $𝑝 (\cdot ∣ 𝑦)$ はすべての $𝑥$ で正な $X$ 上の分布だから，定理 5.2.1 を分布 $𝑝 (\cdot ∣ 𝑦)$ ，オッズ $𝑜$ ，配分 $𝑏 (\cdot ∣ 𝑦)$ に当てて

𝑊 (𝑏 (\cdot ∣ 𝑦), 𝑜, 𝑝 (\cdot ∣ 𝑦)) \leq 𝑊 (𝑝 (\cdot ∣ 𝑦), 𝑜, 𝑝 (\cdot ∣ 𝑦))

を得る．両辺に $𝑝 (𝑦) > 0$ を掛けて $𝑦$ について足せば，定義 5.4.1 より主張の不等式になる． $◼$

形式化: condDoublingRate_le_proportional (ソース)

定理 5.4.2 は定理 5.2.1 を $𝑦$ ごとに当てただけである．副情報を見たあとの賭け手は，そのとき $𝑋$ が従うと信じている分布，すなわち条件付き分布 $𝑝 (\cdot ∣ 𝑦)$ をそのまま配分にすればよい．副情報のあるなしで賭け方の原則は変わらず，変わるのは「自分が信じている分布」のほうである．

定義 5.4.3（最適倍加率）. 定義 5.4.1 と同じ記法で， $X$ ， $Y$ を有限アルファベット， $𝑜$ を $X$ 上のオッズ（定義 5.1.1）， $(𝑋, 𝑌)$ を $X \times Y$ に値をとる対で，すべての $(𝑥, 𝑦)$ で $𝑝 (𝑥, 𝑦) > 0$ であるものとする．

𝑊 * (𝑋) : = 𝑊 (𝑝, 𝑜, 𝑝), 𝑊 * (𝑋 ∣ 𝑌) : = \sum 𝑦 \in Y 𝑝 (𝑦) 𝑊 (𝑝 (\cdot ∣ 𝑦), 𝑜, 𝑝 (\cdot ∣ 𝑦))

と書き，この二つを 最適倍加率 と呼ぶ．オッズ $𝑜$ と同時分布は記号に書かないが，どちらも固定されているものとする．

形式化上の注記. 形式化には $𝑊 * (𝑋 ∣ 𝑌)$ にあたる別の定義はなく， $𝑏 (\cdot ∣ 𝑦) = 𝑝 (\cdot ∣ 𝑦)$ ととった condDoublingRate がそれである．その閉じた形，すなわちオッズの項から条件付きエントロピーを引いた形は，単独の宣言 condDoublingRate_proportional_eq (InformationTheory/Shannon/Gambling/SideInformation.lean) になっている．

定理 5.2.1 より $𝑊 * (𝑋)$ は副情報を使わない配分の中での最大値であり，定理 5.4.2 より $𝑊 * (𝑋 ∣ 𝑌)$ は $𝑦$ ごとに選べる配分の中での最大値である．周辺分布はすべての $𝑥$ で $𝑝 (𝑥) > 0$ だから，どちらでも比例賭けが定義 5.1.1 の配分になっている．二つの最大値の差が，副情報を手に入れたことの値打ちである．

増分は相互情報量

定理 5.4.4. 定義 5.4.1 と同じ記法で， $X$ ， $Y$ を有限アルファベット， $𝑜$ を $X$ 上のオッズ（定義 5.1.1）， $(𝑋, 𝑌)$ を $X \times Y$ に値をとる対で，すべての $(𝑥, 𝑦)$ で $𝑝 (𝑥, 𝑦) > 0$ であるものとする．最適倍加率（定義 5.4.3）について

𝑊 * (𝑋 ∣ 𝑌) - 𝑊 * (𝑋) = 𝐼 (𝑋; 𝑌)

である．

証明. 条件付きのほうを書き直す． $𝑦$ を固定すると $𝑝 (\cdot ∣ 𝑦)$ はすべての $𝑥$ で正な分布だから，定理 5.3.1 をそれに当てて

𝑊 (𝑝 (\cdot ∣ 𝑦), 𝑜, 𝑝 (\cdot ∣ 𝑦)) = \sum 𝑥 𝑝 (𝑥 ∣ 𝑦) l o g 𝑜 (𝑥) - 𝐻 (𝑋 ∣ 𝑌 = 𝑦)

を得る．両辺に $𝑝 (𝑦)$ を掛けて $𝑦$ について足す．第 1 項は $\sum 𝑦 \sum 𝑥 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦) l o g 𝑜 (𝑥) = \sum 𝑥 𝑝 (𝑥) l o g 𝑜 (𝑥)$ であり，第 2 項の和は定義 1.2.2 より $𝐻 (𝑋 ∣ 𝑌)$ である．よって定義 5.4.3 より

𝑊 * (𝑋 ∣ 𝑌) = \sum 𝑥 𝑝 (𝑥) l o g 𝑜 (𝑥) - 𝐻 (𝑋 ∣ 𝑌)

となる．

副情報を使わないほうは定理 5.3.1 そのもので， $𝑊 * (𝑋) = \sum 𝑥 𝑝 (𝑥) l o g 𝑜 (𝑥) - 𝐻 (𝑋)$ である．差をとるとオッズの項が消えて $𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌)$ が残り，定理 1.3.4 よりこれは $𝐼 (𝑋; 𝑌)$ に等しい． $◼$

形式化: sideInfo_doublingRate_increment_eq_mutualInfo (ソース)

形式化上の注記. 形式化が右辺に置く相互情報量は，アルファベット上の関数としての周辺分布と同時分布から $𝐻 (𝑋) + 𝐻 (𝑌) - 𝐻 (𝑋, 𝑌)$ の形で組んだ実数値の量（sideInfoMutualInfo，InformationTheory/Shannon/Gambling/SideInformation.lean）である．第1章が定義 1.3.1 で紐付けた mutualInfo (InformationTheory/Shannon/MutualInfo.lean) は確率変数の像測度についての拡張非負実数値の量で，値はどちらも $𝐼 (𝑋; 𝑌)$ で一致するが，単独の宣言としては別のものである．二つを結ぶ宣言はなく，定理 1.3.4 の形式化もこの二つのあいだのものではない．

定理 5.4.4 は，第1章で「共有されている量」として定義した $𝐼 (𝑋; 𝑌)$ に，値段をつけたものと読める．相互情報量が $1$ ビットなら，副情報を使えるようになったことで倍加率もちょうど $1$ だけ増える．しかも増分の式にオッズは現れない．定理 5.4.4 の証明でオッズの項が引き算で消えるところがそれで，胴元がどんなオッズをつけていても，副情報の値打ちは同時分布だけで決まる．また命題 1.3.2 より $𝐼 (𝑋; 𝑌) \geq 0$ だから，副情報を得て損をすることはなく，等号すなわち値打ちが $0$ になるのは $𝑋$ と $𝑌$ が独立なときに限る．関係のない情報に金を払う価値はない，ということである．

例 5.4.5（二値の副情報）. $X = Y = {1, 2}$ とし， $𝑌$ の分布を一様，すなわちすべての $𝑦 \in Y$ で $𝑝 (𝑦) = 1 / 2$ とする．条件付き分布は $𝑝 (𝑥 ∣ 𝑦) = 0.9$ （ $𝑥 = 𝑦$ のとき）， $𝑝 (𝑥 ∣ 𝑦) = 0.1$ （ $𝑥 \neq 𝑦$ のとき）とする．オッズを $𝑜 (1) = 𝑜 (2) = 2$ とすると $𝑊 * (𝑋) = 0$ ， $𝑊 * (𝑋 ∣ 𝑌) = 0.5310 \dots$ であり，その差は $𝐼 (𝑋; 𝑌) = 0.5310 \dots$ に等しい．

証明. $𝑋$ の周辺分布は $𝑝 (𝑥) = 12 \cdot 0.9 + 12 \cdot 0.1 = 12$ であり， $𝐻 (𝑋) = l o g 2 = 1$ である．オッズは $𝑜 (𝑥) = | X | = 2$ だから，系 5.3.2 より $𝑊 * (𝑋) = l o g 2 - 𝐻 (𝑋) = 0$ である．各 $𝑦$ について $𝑝 (\cdot ∣ 𝑦)$ は確率 $0.9$ のベルヌーイ分布だから，そのエントロピーは例 1.1.2 より $𝐻 (𝑋 ∣ 𝑌 = 𝑦) = 0.4689 \dots$ であり，系 5.3.2 を $𝑝 (\cdot ∣ 𝑦)$ に当てると $𝑊 (𝑝 (\cdot ∣ 𝑦), 𝑜, 𝑝 (\cdot ∣ 𝑦)) = l o g 2 - 0.4689 \dots = 0.5310 \dots$ である． $𝑦$ について平均しても同じ値だから $𝑊 * (𝑋 ∣ 𝑌) = 0.5310 \dots$ になる．定義 1.2.2 より $𝐻 (𝑋 ∣ 𝑌) = 0.4689 \dots$ なので，定理 1.3.4 より $𝐼 (𝑋; 𝑌) = 𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌) = 1 - 0.4689 \dots = 0.5310 \dots$ である． $◼$

例 5.4.5 の副情報は，勝ち馬を $9$ 割の確からしさで当てる予想である．それがないうちは，一様なオッズと一様な分布でどう賭けても稼ぎようがない（系 5.3.2 の等号の場合であり，比例賭けを超える配分がないことは定理 5.2.1 による）．予想を手に入れると倍加率は $0.5310 \dots$ になり，増えたぶんは $𝑊 * (𝑋) = 0$ だったので $𝐼 (𝑋; 𝑌)$ ちょうどである． $9$ 割の予想が $1$ ビットに届かないのは， $1$ 割の外れが残っていて $𝑋$ と $𝑌$ の共有が完全ではないからである．稼ぎの側から言えば，予想を見たあとでも勝ち馬にはまだ $0.4689 \dots$ の不確かさが残っており，系 5.3.2 のとおり，その残りぶんだけ稼ぎ損ねている．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．