1.7 対数和不等式

前節で相対エントロピーの非負性を得た．次節ではもう一段進んで「相対エントロピーは粗くまとめると減る」ことを示したいのだが，その心臓部だけを先に，確率とは無関係な純粋な不等式として切り出しておく．そうしておくと，次節の証明が一行で済む．

切り出す形はこうである．非負の $𝑎 𝑖$ と正の $𝑏 𝑖$ に対し，「比をまとめてから測る」より「個別に測って足す」ほうが大きい． $𝑎 𝑖$ を「真の重み」， $𝑏 𝑖$ を「想定の重み」と思えば，前節の $𝐷 (𝑝 ‖ 𝑞) \geq 0$ で総和 1 という縛りを外し， $𝑛$ 個の項に分けて述べたものにあたる．

定理 1.7.1（対数和不等式）. 非負 $𝑎 𝑖$ と正 $𝑏 𝑖$ （ $𝑖 = 1, \dots, 𝑛$ ）に対し， $𝑎 𝑖 = 0$ の項は $0 l o g (0 / 𝑏 𝑖) = 0$ ， $\sum 𝑖 𝑎 𝑖 = 0$ のときは左辺を 0 と約束すると

(\sum 𝑖 𝑎 𝑖) l o g \sum 𝑖 𝑎 𝑖 \sum 𝑖 𝑏 𝑖 \leq \sum 𝑖 𝑎 𝑖 l o g 𝑎 𝑖 𝑏 𝑖 .

等号は，すべての比 $𝑎 𝑖 / 𝑏 𝑖$ が等しいときに限る．

これは $𝑡 \mapsto 𝑡 l o g 𝑡$ の凸性（＝補題 1.1.8 の $𝜑 = - 𝑡 l o g 𝑡$ の狭義凹性）を，重み $𝑏 𝑖$ つきで述べ直したものである．情報不等式や，相対エントロピーが「まとめる」操作で減ること（次節のデータ処理不等式の心臓部）が，この一枚から従う．

なぜ「まとめると減る」に効くのかを見ておこう．左辺は $𝑎 𝑖$ たちと $𝑏 𝑖$ たちをそれぞれ足し合わせてから比を測った量，右辺は $𝑖$ ごとに比を測ってあとから足した量である．不等号の向きは，まとめたほうが小さい，すなわち $𝑖$ の区別を捨てると差が見えにくくなることを言っている． $𝑖$ を「写像 $𝑓$ で同じ値に潰される点たち」だと思えば，これがそのまま次節の「 $𝑓$ で粗くまとめると相対エントロピーは減る」になる．等号がすべての比 $𝑎 𝑖 / 𝑏 𝑖$ が等しいときに限る，というのも符合する：潰される点たちが真の重みと想定の重みを同じ割合で持っているなら，潰しても情報は失われない．

証明. $𝑏 : = \sum 𝑖 𝑏 𝑖 > 0$ とおき， $𝜆 𝑖 : = 𝑏 𝑖 / 𝑏$ （ $\sum 𝑖 𝜆 𝑖 = 1$ ， $𝜆 𝑖 \geq 0$ ）， $𝑡 𝑖 : = 𝑎 𝑖 / 𝑏 𝑖 \geq 0$ とする．凸関数 $𝜓 (𝑡) : = 𝑡 l o g 𝑡$ （補題 1.1.8 の $𝜑 = - 𝑡 l o g 𝑡$ の凹性の符号反転）に対する有限 Jensen は，補題 1.1.9 を $- 𝜓$ に適用して符号を返したものである．これは重み $𝜆 𝑖$ ・点 $𝑡 𝑖$ に対し

𝜓 (\sum 𝑖 𝜆 𝑖 𝑡 𝑖) \leq \sum 𝑖 𝜆 𝑖 𝜓 (𝑡 𝑖) (†)

を与える．両辺を具体的に計算する．重心は $\sum 𝑖 𝜆 𝑖 𝑡 𝑖 = \sum 𝑖 𝑏 𝑖 𝑏 \cdot 𝑎 𝑖 𝑏 𝑖 = \sum 𝑖 𝑎 𝑖 𝑏$ なので，左辺は

𝜓 (\sum 𝑖 𝑎 𝑖 𝑏) = \sum 𝑖 𝑎 𝑖 𝑏 l o g \sum 𝑖 𝑎 𝑖 𝑏 .

右辺は

\sum 𝑖 𝜆 𝑖 𝜓 (𝑡 𝑖) = \sum 𝑖 𝑏 𝑖 𝑏 \cdot 𝑎 𝑖 𝑏 𝑖 l o g 𝑎 𝑖 𝑏 𝑖 = 1 𝑏 \sum 𝑖 𝑎 𝑖 l o g 𝑎 𝑖 𝑏 𝑖 .

$(†)$ の両辺を $𝑏$ 倍すると， $𝑏 = \sum 𝑖 𝑏 𝑖$ より

(\sum 𝑖 𝑎 𝑖) l o g \sum 𝑖 𝑎 𝑖 \sum 𝑖 𝑏 𝑖 \leq \sum 𝑖 𝑎 𝑖 l o g 𝑎 𝑖 𝑏 𝑖 .

等号は補題 1.1.9 の等号条件（ $𝜓$ は狭義凸）より，正の重みをもつ $𝑡 𝑖 = 𝑎 𝑖 / 𝑏 𝑖$ がすべて等しいときに限る． $◼$

形式化上の注記. 形式化されているのは不等式だけで，等号条件（すべての比が等しいこと）に対応する単独の宣言は無い． $𝑏 𝑖 = 0 \Rightarrow 𝑎 𝑖 = 0$ という絶対連続条件まで許す形も別に用意してある．

形式化: 不等式 log_sum_inequality (ソース)，絶対連続条件を許す形log_sum_inequality_negMulLog (ソース)

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．