15.4 副情報の値打ち

第5章定理 5.4.4 は，賭ける前に副情報 $𝑌$ を観測できるようになったとき，最適倍加率の増分がちょうど相互情報量 $𝐼 (𝑋; 𝑌)$ に等しいと述べた．情報の値打ちがそのまま賭けの取り分になる，という等式である．市場でも同じ問いが立つ．株価比を見る前に何かを知ることができるなら，その知識に応じてポートフォリオを組み替えられるはずで，増分がいくらになるかを一つの数で言いたい．本節が示すのは等式ではなく，増分が $𝐼 (𝑋; 𝑌)$ を超えないという上からの評価である．等式が評価に弱まる場所は，証明を第5章のそれと並べると見える．

定義 15.4.1（条件付き倍加率）. $𝑚 \geq 1$ とし， $X$ を株価比（定義 15.1.1）からなる空でない有限集合， $Y$ を空でない有限集合とする． $𝑝 (𝑦)$ を $Y$ 上の分布，各 $𝑦 \in Y$ について $𝑝 (\cdot ∣ 𝑦)$ を $X$ 上の分布とし， $(𝑋, 𝑌)$ を $X \times Y$ に値をとる対で，その同時分布が $𝑝 (𝑥, 𝑦) = 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦)$ であるものとする．各 $𝑦 \in Y$ について $𝑏 (\cdot ∣ 𝑦)$ をポートフォリオ（定義 15.1.2）とし， $𝑦$ を動かしたこの族をまとめて $𝑏$ と書く．条件付き倍加率 を

𝑊 (𝑏 ∣ 𝑌) : = \sum 𝑦 \in Y 𝑝 (𝑦) 𝑊 (𝑏 (\cdot ∣ 𝑦), 𝑝 (\cdot ∣ 𝑦))

で定める（ $𝑊$ は定義 15.1.4 の倍加率である）． $Y$ 上の分布と条件付き分布は記号に書かないが，どちらも固定されているものとする．

形式化: condGrowthRate (ソース)

$𝑌$ は第5章 5.4 節の副情報と同じ役で，その期の株価比 $𝑋$ を見る前に観測できるものである．条件付き倍加率は， $𝑌 = 𝑦$ を観測してからその場に応じたポートフォリオで運用したときの倍加率を， $𝑦$ の出方で平均したものであり，第5章定義 5.4.1 とまったく同じ作り方をしている．違いは二つある．一つは倍加率が定義 15.1.4 の市場のそれになったことで，もう一つは仮定である．第5章定義 5.4.1 は同時分布がすべての点で正であることを課したが，本節は課さない．第5章がそれを課したのは，条件付き分布が一点で $0$ をとると条件付きの比例賭けが定義 5.1.1 の正値性を満たさなくなるからで，本章は正値性をポートフォリオではなく株価比の側に置いた（定義 15.1.1）ので，同じ心配が起きない．いちばん極端な副情報，すなわち株価比を完全に言い当てるものも本節の枠に入る．例 15.4.6 がそれである．

このあとの定義 15.4.3 は， $𝑦$ ごとの条件付き分布を $𝑦$ の出方で平均して $𝑋$ の分布を作り，その分布について最大の倍加率を置く．平均して作ったものがまた分布であることは，その定義そのものでも，このあとの二つの証明でも使うので，番号で引けるように先に書き留めておく．

補題 15.4.2. $X$ ， $Y$ を空でない有限集合， $𝑝 (𝑦)$ を $Y$ 上の分布とし，各 $𝑦 \in Y$ について $𝑝 (\cdot ∣ 𝑦)$ を $X$ 上の分布とする．このとき， $𝑥 \in X$ に実数

\sum 𝑦 \in Y 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦)

を返す関数は $X$ 上の分布である．

証明. どの $𝑦$ でも $𝑝 (𝑦) \geq 0$ かつ $𝑝 (𝑥 ∣ 𝑦) \geq 0$ だから，各項は非負であり，有限和も非負である．総和は， $𝑥$ についての和と $𝑦$ についての和を入れ替えて

\sum 𝑥 \in X \sum 𝑦 \in Y 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦) = \sum 𝑦 \in Y 𝑝 (𝑦) \sum 𝑥 \in X 𝑝 (𝑥 ∣ 𝑦) = \sum 𝑦 \in Y 𝑝 (𝑦) = 1

である（第 $2$ の等号は各 $𝑝 (\cdot ∣ 𝑦)$ が $X$ 上の分布であること，第 $3$ の等号は $𝑝 (𝑦)$ が $Y$ 上の分布であることによる）． $◻$

形式化: sideMarginalX_mem_stdSimplex (ソース)

定義 15.4.3（周辺分布と最適倍加率）. 定義 15.4.1 と同じ記法で， $𝑚 \geq 1$ ， $X$ を株価比（定義 15.1.1）からなる空でない有限集合， $Y$ を空でない有限集合， $𝑝 (𝑦)$ を $Y$ 上の分布，各 $𝑦$ について $𝑝 (\cdot ∣ 𝑦)$ を $X$ 上の分布とする． $𝑋$ の周辺分布を

𝑝 (𝑥) : = \sum 𝑦 \in Y 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦)

と書く（補題 15.4.2 よりこれは $X$ 上の分布である）．そのうえで

𝑊 * (𝑋) : = m a x 𝑏 𝑊 (𝑏, 𝑝), 𝑊 * (𝑋 ∣ 𝑌) : = \sum 𝑦 \in Y 𝑝 (𝑦) m a x 𝑏 𝑊 (𝑏, 𝑝 (\cdot ∣ 𝑦))

と定める．ここに現れる $m a x$ はすべてポートフォリオ（定義 15.1.2）全体にわたるもので，命題 15.2.2 よりどれも達成される（ $𝑊$ は定義 15.1.4 の倍加率である）．この二つを第5章定義 5.4.3 と同じく 最適倍加率 と呼ぶ．

形式化: $𝑋$ の周辺分布 sideMarginalX (ソース)

形式化上の注記. 二つの最適倍加率にあたる宣言はない． $𝑊 * (𝑋 ∣ 𝑌)$ については，各 $𝑦$ で最大を与えるポートフォリオを選んで condGrowthRate (InformationTheory/Shannon/Portfolio/SideInformation.lean) に渡したものがそれであり， $𝑊 * (𝑋)$ については同じく最大を与えるポートフォリオを growthRate (InformationTheory/Shannon/Portfolio/Basic.lean) に渡したものがそれである．どちらも最大を与えるポートフォリオを外から渡す形で，最大そのものを定めた宣言ではない．

$𝑊 * (𝑋)$ は副情報を使わないポートフォリオの中での最大値， $𝑊 * (𝑋 ∣ 𝑌)$ は $𝑦$ ごとに選べるポートフォリオの中での最大値である．二つの最大値の差が，副情報を手に入れたことの値打ちである．

増分は相互情報量で抑えられる

定理 15.4.4. $𝑚 \geq 1$ とし， $X$ を株価比（定義 15.1.1）からなる空でない有限集合， $Y$ を空でない有限集合とする． $𝑝 (𝑦)$ を $Y$ 上の分布，各 $𝑦 \in Y$ について $𝑝 (\cdot ∣ 𝑦)$ を $X$ 上の分布とし， $(𝑋, 𝑌)$ を $X \times Y$ に値をとる対で，その同時分布が $𝑝 (𝑥, 𝑦) = 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦)$ であるものとする． $𝑝 (𝑥)$ を定義 15.4.3 の周辺分布， $𝑏 \circ$ をその分布 $𝑝$ についての対数最適ポートフォリオ（定義 15.2.3）とする．このとき，条件付きポートフォリオのどの族 $𝑏$ （定義 15.4.1）についても

𝑊 (𝑏 ∣ 𝑌) - 𝑊 (𝑏 \circ, 𝑝) \leq 𝐼 (𝑋; 𝑌)

である（ $𝑊$ は定義 15.1.4 の倍加率， $𝑊 (\cdot ∣ 𝑌)$ は定義 15.4.1 の条件付き倍加率， $𝐼 (𝑋; 𝑌)$ は定義 1.3.1 の相互情報量である）．

証明. 筋は三段である．差から相互情報量を引いた残りを一つの和に書き，有限 Jensen の不等式で対数の外に出し，内側の和を $𝑦$ ごとに定理 15.3.1 で $1$ 以下に抑える．相互情報量を引くのは，第一段で条件付き分布 $𝑝 (𝑥 ∣ 𝑦)$ を打ち消して周辺分布 $𝑝 (𝑥)$ だけを残すためである．そうすると第三段の内側の和が，株価比の分布を $𝑝$ とする市場についての定理 15.3.1 の左辺の形になり， $𝑏 \circ$ がその $𝑝$ についての対数最適ポートフォリオであることが，そのまま同定理の仮定になる．

$𝑥 \in X$ と $𝑦 \in Y$ について $𝑠 (𝑥) : = \sum 𝑚 𝑘 = 1 𝑏 \circ (𝑘) 𝑥 (𝑘)$ ， $𝑟 𝑦 (𝑥) : = \sum 𝑚 𝑗 = 1 𝑏 (𝑗 ∣ 𝑦) 𝑥 (𝑗)$ とおく．補題 15.1.5 よりどちらも正である．

まず差を一つの和にまとめる．定義 15.4.1 と定義 15.1.4 より $𝑊 (𝑏 ∣ 𝑌) = \sum 𝑦 \sum 𝑥 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦) l o g 𝑟 𝑦 (𝑥)$ であり，同時分布の定め方からこれは $\sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑟 𝑦 (𝑥)$ に等しい．いっぽう定義 15.4.3 より $𝑝 (𝑥) = \sum 𝑦 𝑝 (𝑥, 𝑦)$ だから， $𝑊 (𝑏 \circ, 𝑝) = \sum 𝑥 𝑝 (𝑥) l o g 𝑠 (𝑥) = \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑠 (𝑥)$ である．よって

𝑊 (𝑏 ∣ 𝑌) - 𝑊 (𝑏 \circ, 𝑝) = \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑟 𝑦 (𝑥) 𝑠 (𝑥)

となる．

$𝐴 : = {(𝑥, 𝑦) ∣ 𝑝 (𝑥, 𝑦) > 0}$ とおく． $𝐴$ の外の項は $𝑝 (𝑥, 𝑦) = 0$ で消えるから，上の和は $𝐴$ 上の和である．同時分布の定め方から $\sum 𝑥 𝑝 (𝑥, 𝑦) = 𝑝 (𝑦) \sum 𝑥 𝑝 (𝑥 ∣ 𝑦) = 𝑝 (𝑦)$ なので $𝑝 (𝑦)$ は $𝑌$ の周辺分布であり， $𝑝 (𝑥)$ は定義 15.4.3 のとおり $𝑋$ の周辺分布である． $(𝑥, 𝑦) \in 𝐴$ では $𝑝 (𝑦) \geq 𝑝 (𝑥, 𝑦) > 0$ かつ $𝑝 (𝑥) \geq 𝑝 (𝑥, 𝑦) > 0$ かつ $𝑝 (𝑥 ∣ 𝑦) > 0$ であり， $𝑝 (𝑥, 𝑦) / (𝑝 (𝑥) 𝑝 (𝑦)) = 𝑝 (𝑥 ∣ 𝑦) / 𝑝 (𝑥)$ だから，定義 1.3.1 より

𝐼 (𝑋; 𝑌) = \sum 𝐴 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥 ∣ 𝑦) 𝑝 (𝑥)

である．二つを引き算すると

𝑊 (𝑏 ∣ 𝑌) - 𝑊 (𝑏 \circ, 𝑝) - 𝐼 (𝑋; 𝑌) = \sum 𝐴 𝑝 (𝑥, 𝑦) l o g 𝑡 (𝑥, 𝑦), 𝑡 (𝑥, 𝑦) : = 𝑝 (𝑥) 𝑟 𝑦 (𝑥) 𝑝 (𝑥 ∣ 𝑦) 𝑠 (𝑥)

となる． $𝐴$ の上では $𝑡 (𝑥, 𝑦) > 0$ である．

補題 1.1.9 を，凹関数として $l o g$ （補題 1.1.6 による），重みとして $𝐴$ 上の $𝑝 (𝑥, 𝑦)$ ，点として $𝑡 (𝑥, 𝑦)$ ととって当てる．重みは非負で，総和は $\sum 𝐴 𝑝 (𝑥, 𝑦) = \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) = \sum 𝑦 𝑝 (𝑦) \sum 𝑥 𝑝 (𝑥 ∣ 𝑦) = 1$ だから，

\sum 𝐴 𝑝 (𝑥, 𝑦) l o g 𝑡 (𝑥, 𝑦) \leq l o g (\sum 𝐴 𝑝 (𝑥, 𝑦) 𝑡 (𝑥, 𝑦))

を得る．

内側の和を抑える． $𝐴$ の上では $𝑝 (𝑥, 𝑦) = 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦)$ と $𝑝 (𝑥 ∣ 𝑦) > 0$ より

𝑝 (𝑥, 𝑦) 𝑡 (𝑥, 𝑦) = 𝑝 (𝑦) 𝑝 (𝑥) 𝑟 𝑦 (𝑥) 𝑠 (𝑥)

である．この形の項はどの $(𝑥, 𝑦)$ でも非負だから， $𝐴$ の外の項を足しても和は減らず

\sum 𝐴 𝑝 (𝑥, 𝑦) 𝑡 (𝑥, 𝑦) \leq \sum 𝑦 \in Y 𝑝 (𝑦) \sum 𝑥 \in X 𝑝 (𝑥) 𝑟 𝑦 (𝑥) 𝑠 (𝑥)

となる．ここで $𝑝$ は，補題 15.4.2 より $X$ 上の分布である． $𝑦$ を一つ固定し，株価比の分布を $𝑝$ とする市場とポートフォリオ $𝑏 \circ$ ， $𝑏 (\cdot ∣ 𝑦)$ に定理 15.3.1 を当てる． $𝑏 \circ$ が分布 $𝑝$ についての対数最適ポートフォリオであることがちょうど同定理の仮定であり，株価比の分布が $𝑝$ だから同定理の左辺は $\sum 𝑥 𝑝 (𝑥) 𝑟 𝑦 (𝑥) / 𝑠 (𝑥)$ という和である．よってこの内側の和は $1$ 以下で， $\sum 𝑦 𝑝 (𝑦) = 1$ とあわせて右辺は $1$ 以下である．

いっぽう $\sum 𝐴 𝑝 (𝑥, 𝑦) = 1$ だから $𝐴$ は空ではなく， $𝐴$ 上の各項 $𝑝 (𝑥, 𝑦) 𝑡 (𝑥, 𝑦)$ は正だから，この和は正である．したがって和は $0$ より大きく $1$ 以下であり，対数の単調性（補題 8.2.5）よりその対数は $l o g 1 = 0$ 以下である．以上を合わせて $𝑊 (𝑏 ∣ 𝑌) - 𝑊 (𝑏 \circ, 𝑝) - 𝐼 (𝑋; 𝑌) \leq 0$ を得る． $◼$

形式化: sideInfo_growthRate_increment_le_mutualInfo (ソース)

形式化上の注記. 宣言が $𝑏 \circ$ に課すのは，対数最適性ではなく 15.2 節の Kuhn–Tucker 条件の $𝑚$ 本の不等式である．本文の対数最適性からその $𝑚$ 本が出ることは定理 15.2.5 が与え，そちらも無条件の機械検証済みである．宣言が右辺に置く相互情報量は，アルファベット上の関数としての周辺分布と同時分布から組んだ実数値の量 sideInfoMutualInfo (InformationTheory/Shannon/Gambling/SideInformation.lean) である．第1章定義 1.3.1 が紐付けた mutualInfo (InformationTheory/Shannon/MutualInfo.lean) は確率変数の像測度についての拡張非負実数値の量で，値はどちらも $𝐼 (𝑋; 𝑌)$ で一致するが，単独の宣言としては別のものである．

証明のどこが変わったか. 第5章定理 5.4.4 の証明は，条件付き倍加率も副情報を使わない倍加率も，どちらも比例賭けの値として閉じた式（定理 5.3.1）に書き換えられることに乗っていた．二つの閉じた式を引き算するとオッズの項が消え，残ったエントロピーの差が定理 1.3.4 によってちょうど $𝐼 (𝑋; 𝑌)$ になる．市場には比例賭けにあたる閉じた式がない（15.2 節）．上の証明が代わりに使ったのは，相互情報量を引いた残りを一つの和にまとめ，有限 Jensen の不等式で上から抑える段である．不等式は一方向にしか効かないので，得られるのも一方向の評価だけになる．どの市場で等号が成り立つかを本書は述べない．

系 15.4.5（最適な組み替えの増分の上界）. $𝑚 \geq 1$ とし， $X$ を株価比（定義 15.1.1）からなる空でない有限集合， $Y$ を空でない有限集合とする． $𝑝 (𝑦)$ を $Y$ 上の分布，各 $𝑦 \in Y$ について $𝑝 (\cdot ∣ 𝑦)$ を $X$ 上の分布とし， $(𝑋, 𝑌)$ を $X \times Y$ に値をとる対で，その同時分布が $𝑝 (𝑥, 𝑦) = 𝑝 (𝑦) 𝑝 (𝑥 ∣ 𝑦)$ であるものとする．このとき最適倍加率（定義 15.4.3）について

𝑊 * (𝑋 ∣ 𝑌) - 𝑊 * (𝑋) \leq 𝐼 (𝑋; 𝑌)

である（ $𝐼 (𝑋; 𝑌)$ は定義 1.3.1 の相互情報量である）．

証明. 各 $𝑦 \in Y$ について，命題 15.2.2 を分布 $𝑝 (\cdot ∣ 𝑦)$ に当てて $𝑊 (\cdot, 𝑝 (\cdot ∣ 𝑦))$ の最大を与えるポートフォリオを一つ選び，それを $𝑏 (\cdot ∣ 𝑦)$ とする． $𝑦$ を動かしたこの族 $𝑏$ について，定義 15.4.1 と定義 15.4.3 より $𝑊 (𝑏 ∣ 𝑌) = 𝑊 * (𝑋 ∣ 𝑌)$ である．

次に周辺分布 $𝑝$ に移る．補題 15.4.2 より $𝑝$ は $X$ 上の分布である． $𝑏 *$ をこの $𝑝$ についての対数最適ポートフォリオ（定義 15.2.3）とすると，命題 15.2.2 よりそのようなものは存在し，定義 15.4.3 より $𝑊 (𝑏 *, 𝑝) = 𝑊 * (𝑋)$ である．

そこで定理 15.4.4 を $𝑏 \circ : = 𝑏 *$ とこの族 $𝑏$ に当てると， $𝑊 * (𝑋 ∣ 𝑌) - 𝑊 * (𝑋) \leq 𝐼 (𝑋; 𝑌)$ を得る． $◼$

形式化上の注記. 系 15.4.5 に対応する単独の宣言はない．定理 15.4.4 の紐付け先に，各 $𝑦$ で最大を与えるポートフォリオと，周辺分布について最大を与えるポートフォリオとを渡した形で得られる（後者を宣言の求める Kuhn–Tucker 条件に直すのが，定理 15.4.4 の注記に書いた kuhnTucker_of_logOptimal (InformationTheory/Shannon/Portfolio/Basic.lean) である）．渡す先の宣言はどちらのポートフォリオも仮定として受け取るだけで，それらが存在すること，すなわち命題 15.2.2 にあたることは述べていない．

例 15.4.6（株価比を完全に言い当てる副情報）. 例 15.1.6 の市場をとる．すなわち $𝑚 = 2$ ， $X = {𝑥 ↑, 𝑥 ↓}$ ， $𝑥 ↑ (1) = 𝑥 ↓ (1) = 1$ ， $𝑥 ↑ (2) = 2$ ， $𝑥 ↓ (2) = 1 / 2$ とする． $Y : = {↑, ↓}$ ， $𝑝 (↑) = 𝑝 (↓) = 1 / 2$ とし，条件付き分布を $𝑝 (𝑥 ↑ ∣ ↑) = 1$ ， $𝑝 (𝑥 ↓ ∣ ↑) = 0$ ， $𝑝 (𝑥 ↑ ∣ ↓) = 0$ ， $𝑝 (𝑥 ↓ ∣ ↓) = 1$ とする．このとき $𝑋$ の周辺分布（定義 15.4.3）は例 15.1.6 の $𝑝$ に等しく，最適倍加率（定義 15.4.3）は

𝑊 * (𝑋) = 12 l o g 98 = 0.0849 \dots, 𝑊 * (𝑋 ∣ 𝑌) = 12

であり，その差は $l o g 43 = 0.4150 \dots$ である．いっぽう $𝐼 (𝑋; 𝑌) = 1$ である．

証明. 周辺分布は $𝑝 (𝑥 ↑) = 12 \cdot 1 + 12 \cdot 0 = 12$ ，同様に $𝑝 (𝑥 ↓) = 12$ で，例 15.1.6 の $𝑝$ に等しい．例 15.2.6 よりこの市場の対数最適ポートフォリオは $𝑏 * (1) = 𝑏 * (2) = 1 / 2$ であり，例 15.1.6 よりその倍加率は $12 l o g 98$ だから，定義 15.4.3 より $𝑊 * (𝑋) = 12 l o g 98$ である．

$𝑦 = ↑$ のとき，条件付き分布は $𝑥 ↑$ の一点に集中するから，定義 15.1.4 の和は $𝑥 ↑$ の項だけになり，ポートフォリオ $𝑏$ について $𝑊 (𝑏, 𝑝 (\cdot ∣ ↑)) = l o g (𝑏 (1) + 2 𝑏 (2)) = l o g (1 + 𝑏 (2))$ である（ $𝑏 (1) + 𝑏 (2) = 1$ による）． $0 \leq 𝑏 (2) \leq 1$ の範囲で $1 + 𝑏 (2)$ は $𝑏 (2) = 1$ で最大 $2$ をとるから，補題 8.2.5 の単調性より最大値は $l o g 2 = 1$ で，全額を銘柄 $2$ に寄せたポートフォリオがそれを与える． $𝑦 = ↓$ のときは同様に $𝑊 (𝑏, 𝑝 (\cdot ∣ ↓)) = l o g (𝑏 (1) + 12 𝑏 (2)) = l o g (1 - 12 𝑏 (2))$ で，最大値は $𝑏 (2) = 0$ での $l o g 1 = 0$ である．定義 15.4.3 より $𝑊 * (𝑋 ∣ 𝑌) = 12 \cdot 1 + 12 \cdot 0 = 12$ である．

差は $12 - 12 l o g 98 = 12 l o g 2 - 12 l o g 98 = 12 l o g 169 = l o g 43$ であり， $l o g 3 = 1.5849 \dots$ から $l o g 43 = 2 - l o g 3 = 0.4150 \dots$ を得る．

相互情報量を計算する．同時分布は $𝑝 (𝑥 ↑, ↑) = 𝑝 (𝑥 ↓, ↓) = 12$ ，残る二点で $0$ である．定義 1.3.1 の和は正の二点についてとるもので，どちらでも $𝑝 (𝑥) = 𝑝 (𝑦) = 12$ だから

𝐼 (𝑋; 𝑌) = 2 \cdot 12 l o g 1 / 2 (1 / 2) (1 / 2) = l o g 2 = 1

である． $◼$

例 15.4.6 の副情報は株価比を完全に言い当てる．じつは，この市場でこれより多くを教える副情報はない．

例 15.4.7（副情報が教えられる量の上限）. 例 15.1.6 の市場をとる．すなわち $𝑚 = 2$ ， $X = {𝑥 ↑, 𝑥 ↓}$ とし， $𝑋$ の分布を $𝑝 (𝑥 ↑) = 𝑝 (𝑥 ↓) = 1 / 2$ とする． $Y'$ を空でない有限集合とし， $(𝑋, 𝑌')$ を $X \times Y'$ に値をとる対で，第 $1$ 成分の周辺分布がこの $𝑝$ であるものとする．このとき

𝐼 (𝑋; 𝑌') \leq 1

である（ $𝐼$ は定義 1.3.1 の相互情報量である）．例 15.4.6 の副情報 $𝑌$ は等号を与える．

証明. 定理 1.3.4 より $𝐼 (𝑋; 𝑌') = 𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌')$ である．条件付きエントロピー（定義 1.2.2）は各条件のもとのエントロピーを $𝑌'$ の出方で平均したもので，命題 1.1.4 よりどの条件のもとのエントロピーも非負だから， $𝐻 (𝑋 ∣ 𝑌') \geq 0$ である．よって $𝐼 (𝑋; 𝑌') \leq 𝐻 (𝑋)$ である． $𝑋$ は $2$ 点上の一様分布だから定理 1.1.5 の等号の場合にあたり， $𝐻 (𝑋) = l o g 2 = 1$ である．等号のほうは，例 15.4.6 が $𝐼 (𝑋; 𝑌) = 1$ を計算している． $◼$

それでも増分は $l o g 43 = 0.4150 \dots$ にとどまり， $𝐼 (𝑋; 𝑌) = 1$ には届かない． $𝑦$ を知ったあとにできるいちばん良いことは全額を一つの銘柄に寄せることで，そのときの $1$ 期の資産倍率は上向きで $2$ ，下向きで $1$ である．その対数を平均した $12$ が $𝑊 * (𝑋 ∣ 𝑌)$ で， $𝐼 (𝑋; 𝑌) = 1$ との開きはここから出ている．下向きだと分かっていても，下向きのときに資産を増やす銘柄がこの市場にはない．できるのは減らないこと，すなわち全額を現金に寄せることまでである．この市場が返す倍率の大きさが，副情報の使い道を上から押さえているということである．

例 15.4.6 の副情報は極端である． $𝑌$ を見れば株価比が決まってしまうので， $𝑦$ ごとに向き合う相手は一点に集中した分布になり， $𝐼 (𝑋; 𝑌)$ も例 15.4.7 の上限いっぱいに届いていた．そこまで教えない副情報では，増分も相互情報量も途中の値になる．第5章例 5.4.5 が競馬で使った $9$ 割の予想を，同じ市場に持ってくる．

例 15.4.8（ $9$ 割の予想）. 例 15.1.6 の市場をとる．すなわち $𝑚 = 2$ ， $X = {𝑥 ↑, 𝑥 ↓}$ ， $𝑥 ↑ (1) = 𝑥 ↓ (1) = 1$ ， $𝑥 ↑ (2) = 2$ ， $𝑥 ↓ (2) = 1 / 2$ とする． $Y : = {↑, ↓}$ ， $𝑝 (↑) = 𝑝 (↓) = 1 / 2$ とし，条件付き分布を $𝑝 (𝑥 ↑ ∣ ↑) = 𝑝 (𝑥 ↓ ∣ ↓) = 9 / 10$ ， $𝑝 (𝑥 ↓ ∣ ↑) = 𝑝 (𝑥 ↑ ∣ ↓) = 1 / 10$ とする．このとき $𝑋$ の周辺分布（定義 15.4.3）は例 15.1.6 の $𝑝$ に等しく，最適倍加率（定義 15.4.3）は

𝑊 * (𝑋) = 12 l o g 98 = 0.0849 \dots, 𝑊 * (𝑋 ∣ 𝑌) = 25

であり，その差は $0.3150 \dots$ である．いっぽう $𝐼 (𝑋; 𝑌) = 1 - 𝐻 𝑏 (1 / 10) = 0.5310 \dots$ である（ $𝐻 𝑏$ は例 1.1.2 の二値エントロピー関数， $𝐼$ は定義 1.3.1 の相互情報量である）．

証明. 周辺分布は $𝑝 (𝑥 ↑) = 12 \cdot 910 + 12 \cdot 110 = 12$ であり， $𝑝 (𝑥 ↓)$ も同じ計算で $12$ だから，例 15.1.6 の $𝑝$ に等しい．例 15.2.6 よりこの分布についての対数最適ポートフォリオは $𝑏 * (1) = 𝑏 * (2) = 1 / 2$ で，例 15.1.6 よりその倍加率は $12 l o g 98$ だから，定義 15.4.3 より $𝑊 * (𝑋) = 12 l o g 98$ である．

$𝑦 = ↑$ のとき，条件付き分布は $𝑥 ↑$ に $9 / 10$ ， $𝑥 ↓$ に $1 / 10$ を与える．これは例 15.2.9 の市場の分布そのものだから，最大を与えるのは全額を銘柄 $2$ に寄せたポートフォリオで，その値は $45$ である． $𝑦 = ↓$ のとき，条件付き分布は $𝑥 ↑$ に $1 / 10$ ， $𝑥 ↓$ に $9 / 10$ を与える．全額を銘柄 $1$ に寄せたポートフォリオ $𝑏'$ をとると資産倍率はどちらの株価比でも $1$ だから，15.2 節の Kuhn–Tucker 条件の左辺は $𝑗 = 1$ について $110 \cdot 1 + 910 \cdot 1 = 1$ ， $𝑗 = 2$ について $110 \cdot 2 + 910 \cdot 12 = 1320$ である．どちらも $1$ 以下だから，定理 15.2.4 より $𝑏'$ が最大を与え，その値は $l o g 1 = 0$ である．定義 15.4.3 より $𝑊 * (𝑋 ∣ 𝑌) = 12 \cdot 45 + 12 \cdot 0 = 25$ である．

$l o g 3 = 1.5849 \dots$ だから $12 l o g 98 = 12 (2 l o g 3 - 3) = 0.0849 \dots$ であり，差は $25 - 0.0849 \dots = 0.3150 \dots$ である．

相互情報量に移る．周辺分布は $2$ 点上の一様分布だから定理 1.1.5 の等号の場合にあたり $𝐻 (𝑋) = 1$ である．どちらの $𝑦$ でも条件付き分布は一方に $9 / 10$ ，他方に $1 / 10$ を与えるから，例 1.1.2 よりそのエントロピーは $𝐻 𝑏 (1 / 10) = 0.4689 \dots$ であり，定義 1.2.2 より $𝐻 (𝑋 ∣ 𝑌) = 𝐻 𝑏 (1 / 10)$ である．定理 1.3.4 より $𝐼 (𝑋; 𝑌) = 1 - 𝐻 𝑏 (1 / 10) = 0.5310 \dots$ となる． $◼$

増分 $0.3150 \dots$ は $0$ より大きく， $𝐼 (𝑋; 𝑌) = 0.5310 \dots$ より小さい．系 15.4.5 の不等号は，ここでは真の不等号である．第5章例 5.4.5 は同じ $9$ 割の予想を競馬で使い，そこでは増分が $𝐼 (𝑋; 𝑌)$ ちょうどだった．第5章定理 5.4.4 が等式で定理 15.4.4 が評価にとどまることが，この二つの数の違いに出ている． $𝑦 = ↓$ と予想されたときにこの市場でできるのは，全額を現金に寄せて減らさないことまでで，資産を増やす手はない．例 15.4.6 で見たのと同じ事情が，予想が完全でない場合にも残っている．同じ数の組は 15.7 節でもう一度出る．そこでは副情報が外から与えられるのではなく，市場自身の直前の期になる．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．