1.9 十分統計量

前節のデータ処理不等式は「加工すると情報は減る（ $\leq$ ）」と言っていた．では，減らないのはどういうときか．この等号の場合を特徴づけるのが本節の主題である．

動機は統計にある．データ $𝑋$ からパラメータ $𝜃$ を推定するとき， $𝑋$ をそのまま持ち歩くのは大きい．標本平均や最大値のように，データを要約する関数 $𝑇$ を 統計量という．ある統計量の値 $𝑇 (𝑋)$ だけ持っていれば $𝜃$ について $𝑋$ と同じだけ分かる，という状況があれば，以降の議論は $𝑇 (𝑋)$ の上でやってよい．このとき $𝑇$ を十分統計量 という．

一つ断っておく．以下では $𝜃$ を確率変数として扱う．統計では未知パラメータを定数とみなすことが多いが， $𝐼 (𝜃; 𝑋)$ のような情報量は同時分布に対して定まる量なので， $𝜃$ 自身に分布がなければ書けない．そこで $𝜃$ に分布を一つ与え， $(𝜃, 𝑋)$ を同時分布をもつ組として扱う．以下で使うのはその同時分布の構造だけで， $𝜃$ の分布の具体形は使わない．

典型例. コインを $𝑛$ 回投げて表裏の列 $𝑋 = (𝑋 1, \dots, 𝑋 𝑛)$ を得たとする．表の確率 $𝜃$ を推定したいなら，どの順番で表が出たかは要らない．表の回数 $𝑇 (𝑋) = \sum 𝑖 𝑋 𝑖$ だけあれば十分である．実際，表の回数を $𝑘$ と固定してしまえば，その条件のもとで列 $𝑋$ がどれになるかは $(𝑛 𝑘)$ 通りの等確率で， $𝜃$ にまったく依存しない． $𝑇$ を知ったあとの $𝑋$ の分布が $𝜃$ に依存しない．これが「 $𝑇$ が $𝜃$ の情報をすべて吸い上げている」ということであり，以下の定義が形式化しているのはこの状況である．

定義

定義 1.9.1（十分統計量）. 統計量 $𝑇 (𝑋)$ が $𝜃$ に対し十分であるとは， $𝜃 \to 𝑇 (𝑋) \to 𝑋$ がマルコフ連鎖（定義 1.8.3）をなすことをいう．すなわち $𝑇 (𝑋)$ を与えたとき $𝜃$ と $𝑋$ が条件付き独立になること（ $𝜃 ⟂ 𝑋 ∣ 𝑇 (𝑋)$ ）である．

形式化: IsSufficientStatistic (ソース)

語を一つ断っておく．本節が十分と呼ぶのは，確率変数 $𝑋$ を要約する統計量 $𝑇$ である．第13章 13.6 節はコルモゴロフ十分統計量という語を置くが，そちらが十分と呼ぶのは自然数を含む有限集合であって，確率変数でも統計量でもない．同じ「十分」を冠していても別の対象についての語なので，混ぜて読まないこと．

マルコフ連鎖 $𝜃 \to 𝑇 (𝑋) \to 𝑋$ は「 $𝜃$ から $𝑋$ への影響が，すべて $𝑇 (𝑋)$ を経由している」と読む．上のコインの例なら， $𝜃$ が決めているのは表の回数の分布だけで，回数さえ決まれば列の並びは $𝜃$ と無関係に決まる，という構造がそのまま矢印になっている． $𝑋$ から $𝑇 (𝑋)$ は関数（情報が減る向き）なのに， $𝜃$ から見ると $𝑇 (𝑋)$ で十分である．この非対称さが「十分」の内容である．

情報の保存

定理 1.9.2. $𝑇$ が十分なら

𝐼 (𝜃; 𝑋) = 𝐼 (𝜃; 𝑇 (𝑋)) .

証明. 一般に後処理不等式（定理 1.8.2）から $𝐼 (𝜃; 𝑇 (𝑋)) \leq 𝐼 (𝜃; 𝑋)$ ．

逆向きは十分性から出る．マルコフ連鎖の定義は両端について対称（1.8 節）なので， $𝜃 \to 𝑇 (𝑋) \to 𝑋$ は $𝑋 \to 𝑇 (𝑋) \to 𝜃$ と読み替えてよい．この向きでデータ処理不等式のマルコフ版（定理 1.8.4）を当てると $𝐼 (𝑋; 𝜃) \leq 𝐼 (𝑇 (𝑋); 𝜃)$ ，相互情報量の対称性（命題 1.3.3）で書き直して $𝐼 (𝜃; 𝑋) \leq 𝐼 (𝜃; 𝑇 (𝑋))$ を得る．両者を挟めば等号． $◼$

一般のデータ処理は情報を減らしうる（ $\leq$ ）．十分統計量はその等号がちょうど成り立つ「情報を一切落とさない要約」である．十分統計量を使えば，推定の議論を低次元の $𝑇 (𝑋)$ 上で行ってよい，という実用上の御利益がある．

形式化上の注記. 教科書は十分性を因子分解 $𝑝 (𝑥 ∣ 𝜃) = 𝑔 (𝑇 (𝑥), 𝜃) ℎ (𝑥)$ （Neyman–Fisher）で導入することが多い．測度論でこれを書くと「 $𝑇 (𝑋)$ を与えたときの $𝑋$ の条件付き分布が $𝜃$ に依存しない」という形になり，本ライブラリはそれをIsSufficientStatisticFactorized として持っている．定義に採ったのは定理 1.8.4 の結論に直結するマルコフ連鎖形のほうで，両者の同値 isSufficient_iff_factorized を別に立てている．同値は Mathlib の条件付き独立性補題（標準ボレル機構）を経由する．

形式化: mutualInfo_eq_of_sufficient (ソース)

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．