7.3 アフィン変換と微分エントロピー

1.1 節で見たとおり，離散のエントロピーは値の読み替えで変わらない．サイコロの目 $1, \dots, 6$ を色の名前に置き換えても $𝐻 (𝑋)$ は同じである．エントロピーが分布だけで決まる量だからで，値そのものはどこにも効いていない．微分エントロピーも密度だけで決まる量だが，値の読み替えに対するふるまいは同じではない．長さの単位を変えれば密度の高さが変わり， $- \int 𝑓 l o g 𝑓$ の値も動く．本節はその動き方をアフィン変換について決める．

例 7.1.3 と例 7.1.4 で $ℎ (𝑋) = l o g (長さ)$ の形が出たことを思い出すと，長さを $| 𝑐 |$ 倍すれば $ℎ$ は $l o g | 𝑐 |$ だけ増えるはずである．実際そのとおりになる．

道具は一つ借りる． $1$ 次式による 置換積分，すなわち $𝑐 \neq 0$ のときの $𝑦 = (𝑥 - 𝑏) / 𝑐$ という置き換えである． $𝑑 𝑥 = | 𝑐 | 𝑑 𝑦$ という関係と，積分域の対応（区間 $[𝑢, 𝑣]$ の上での積分は $[(𝑢 - 𝑏) / 𝑐, (𝑣 - 𝑏) / 𝑐]$ の上での積分に移り，区間でない集合 $𝐴$ の上での積分は， $𝐴$ の各点を $𝑦 = (𝑥 - 𝑏) / 𝑐$ で送った集合の上での積分に移る）を，微積分の計算規則として既知とする． $ℝ 𝑛$ の上でも同じ置き換えを成分ごとに行える． $𝑐 1, \dots, 𝑐 𝑛$ を $0$ でない実数， $𝑏 1, \dots, 𝑏 𝑛$ を実数として $𝑦 𝑖 = (𝑥 𝑖 - 𝑏 𝑖) / 𝑐 𝑖$ ととると $𝑑 𝑥 = | 𝑐 1 \dots 𝑐 𝑛 | 𝑑 𝑦$ であり，直方体の上での積分は各辺をこの置き換えで送った直方体の上での積分に，直方体でない集合 $𝐴$ の上での積分は $𝐴$ の各点を送った集合の上での積分に移る．当てる対象は，本節と 7.4 節と 7.5 節に現れる密度と，それに対数を掛けた関数，第8章に現れる密度とそれに対数を掛けた関数，および第8章命題 8.4.1 の球の上での定数関数である．依存するのは補題 7.3.1・命題 7.3.2・命題 7.3.3 の証明，7.4 節の例 7.4.5 の証明，7.5 節の命題 7.5.3 と系 7.5.7 の証明，第8章の命題 8.1.4 と命題 8.4.1 の証明，および第16章 16.8 節の例 16.8.2 の証明である．最後のものは 16.7 節が微積分の計算規則としてこれを借り直したうえで， $𝑦 = 2 - 𝑧$ ととって当てる．そちらでの当てる対象は，例 16.8.2 の和の密度にその対数を掛けた関数だけで，形は上に挙げたものと同じである．

アフィン変換した確率変数の密度

補題 7.3.1（アフィン変換の密度）. $𝑋$ を密度 $𝑓$ をもつ実数値確率変数とし， $𝑐 \neq 0$ と $𝑏$ を実数とする．このとき $𝑐 𝑋 + 𝑏$ は密度をもち，その一つは

𝑥 ⟼ 1 | 𝑐 | 𝑓 (𝑥 - 𝑏 𝑐)

である．

証明. 右辺の関数を $𝑓 𝑐$ と書く． $𝑓 𝑐$ は非負である．

任意の実数 $𝑢 \leq 𝑣$ について $P r [𝑢 \leq 𝑐 𝑋 + 𝑏 \leq 𝑣]$ を求める． $𝑐 > 0$ のとき，この条件は $𝑢 - 𝑏 𝑐 \leq 𝑋 \leq 𝑣 - 𝑏 𝑐$ と同値だから，定義 7.1.1 より

P r [𝑢 \leq 𝑐 𝑋 + 𝑏 \leq 𝑣] = \int (𝑣 - 𝑏) / 𝑐 (𝑢 - 𝑏) / 𝑐 𝑓 (𝑦) 𝑑 𝑦

である．借りた置換積分を $𝑦 = (𝑥 - 𝑏) / 𝑐$ で使うと，積分区間は $[𝑢, 𝑣]$ に移り， $𝑑 𝑦 = 𝑑 𝑥 / 𝑐$ だから右辺は $\int 𝑣 𝑢 𝑓 𝑐 (𝑥) 𝑑 𝑥$ に等しい． $𝑐 < 0$ のときは，条件が $𝑣 - 𝑏 𝑐 \leq 𝑋 \leq 𝑢 - 𝑏 𝑐$ と同値になり，同じ置き換えで積分の向きが入れ替わるので， $1 / 𝑐$ ではなく $1 / | 𝑐 |$ が出て，やはり $\int 𝑣 𝑢 𝑓 𝑐 (𝑥) 𝑑 𝑥$ に等しい．

全積分が $1$ であることも同じ置き換えで従う． $\int ℝ 𝑓 𝑐 (𝑥) 𝑑 𝑥 = \int ℝ 𝑓 (𝑦) 𝑑 𝑦 = 1$ である．よって $𝑓 𝑐$ は定義 7.1.1 の意味で $𝑐 𝑋 + 𝑏$ の密度である． $◻$

平行移動と定数倍

命題 7.3.2（平行移動での不変性）. $𝑋$ を密度をもつ実数値確率変数， $𝑏$ を実数とする． $ℎ (𝑋)$ が定まるならば $ℎ (𝑋 + 𝑏)$ も定まり， $ℎ (𝑋 + 𝑏) = ℎ (𝑋)$ である．

証明. $𝑋$ の密度を $𝑓$ とする．補題 7.3.1 を $𝑐 = 1$ ととると， $𝑋 + 𝑏$ の密度の一つは $𝑥 \mapsto 𝑓 (𝑥 - 𝑏)$ である．借りた置換積分を $𝑦 = 𝑥 - 𝑏$ で使うと

\int ℝ ∣ 𝑓 (𝑥 - 𝑏) l o g 𝑓 (𝑥 - 𝑏) ∣ 𝑑 𝑥 = \int ℝ | 𝑓 (𝑦) l o g 𝑓 (𝑦) | 𝑑 𝑦

であり，右辺は仮定より有限だから $ℎ (𝑋 + 𝑏)$ は定まる．同じ置き換えで符号を付けた積分も等しいので $ℎ (𝑋 + 𝑏) = ℎ (𝑋)$ である． $◼$

形式化: differentialEntropy_map_add_const (ソース)

形式化上の注記. 命題 7.3.2 の形式化は，本文の「 $ℎ (𝑋)$ が定まる」にあたる仮定をもたない．積分できない場合に形式化が $ℎ$ の値を $0$ と定める約束のもとでは，平行移動の前後でどちらも $0$ になって等式が成り立つからである．結論は等式だけで，本文の主張のうち「 $ℎ (𝑋 + 𝑏)$ も定まる」にあたる部分は含まれていない．

命題 7.3.3（定数倍）. $𝑋$ を密度をもつ実数値確率変数， $𝑐 \neq 0$ を実数とする． $ℎ (𝑋)$ が定まるならば $ℎ (𝑐 𝑋)$ も定まり

ℎ (𝑐 𝑋) = ℎ (𝑋) + l o g | 𝑐 |

である．

証明. $𝑋$ の密度を $𝑓$ とする．補題 7.3.1 を $𝑏 = 0$ ととると， $𝑐 𝑋$ の密度の一つは $𝑥 \mapsto 1 | 𝑐 | 𝑓 (𝑥 / 𝑐)$ である．借りた置換積分を $𝑦 = 𝑥 / 𝑐$ で使うと $𝑑 𝑥 = | 𝑐 | 𝑑 𝑦$ で，

- \int ℝ 1 | 𝑐 | 𝑓 (𝑥 𝑐) l o g 𝑓 (𝑥 / 𝑐) | 𝑐 | 𝑑 𝑥 = - \int ℝ 𝑓 (𝑦) (l o g 𝑓 (𝑦) - l o g | 𝑐 |) 𝑑 𝑦

となる．同じ置き換えで絶対値をとった積分も移せて，右辺は $\int ℝ | 𝑓 l o g 𝑓 | + | l o g | 𝑐 | |$ で抑えられるから有限であり， $ℎ (𝑐 𝑋)$ は定まる．値は， $\int 𝑓 = 1$ より右辺が $ℎ (𝑋) + l o g | 𝑐 |$ に等しいことから従う． $◼$

形式化: differentialEntropy_map_mul_const (ソース)

形式化上の注記. 命題 7.3.3 の形式化は，命題 7.3.2 のそれと違って，本文の「 $ℎ (𝑋)$ が定まる」にあたる積分可能性を仮定にもつ．結論が等式だけであることは同じで，「 $ℎ (𝑐 𝑋)$ も定まる」にあたる部分は含まれていない．

系 7.3.4（アフィン変換）. $𝑋$ を密度をもつ実数値確率変数， $𝑐 \neq 0$ と $𝑏$ を実数とする． $ℎ (𝑋)$ が定まるならば $ℎ (𝑐 𝑋 + 𝑏)$ も定まり

ℎ (𝑐 𝑋 + 𝑏) = ℎ (𝑋) + l o g | 𝑐 |

である．

証明. 命題 7.3.3 より $ℎ (𝑐 𝑋)$ は定まって $ℎ (𝑐 𝑋) = ℎ (𝑋) + l o g | 𝑐 |$ である．これに命題 7.3.2 を確率変数 $𝑐 𝑋$ について当てると， $ℎ (𝑐 𝑋 + 𝑏)$ が定まって $ℎ (𝑐 𝑋)$ に等しい． $◼$

形式化: differentialEntropy_map_affine (ソース)

形式化上の注記. 系 7.3.4 の形式化は命題 7.3.3 のそれと同じ形で，積分可能性を仮定にもち，結論は等式だけである．

系 7.3.4 は「微分エントロピーは目盛の取り替えを見ている」ことを言っている． $𝑋$ をどこへ動かしても（ $𝑏$ ）値は変わらないが，何倍に引き伸ばすか（ $𝑐$ ）で $l o g | 𝑐 |$ だけ動く．長さをメートルで測っていたのをセンチメートルに変えれば $𝑐 = 100$ で， $ℎ$ は $l o g 100$ だけ増える．7.1 節の幅の読みに乗せれば，底を $2$ にとって $2 ℎ (𝑐 𝑋 + 𝑏) = | 𝑐 | 2 ℎ (𝑋)$ であり，実効的な幅がちょうど $| 𝑐 |$ 倍になっている．同じ確率変数が，測り方を変えただけで違う値をもつということである． $ℎ (𝑋)$ の数値そのものを「 $𝑋$ のもつ情報量」と読むなら，測り方を変えるだけでその情報量が変わってしまう．

証明はすでに置換積分で済んでいるので，ここでは $l o g | 𝑐 |$ という差を定理 7.1.6 の言葉で読み直しておく． $𝑋$ が定理 7.1.6 の仮定を満たす，すなわちある有界閉区間の上で密度が連続でその外で $0$ であるとき，補題 7.3.1 より $𝑐 𝑋$ の密度も対応する区間の上で連続でその外で $0$ だから， $𝑐 𝑋$ にも定理 7.1.6 が当たる． $𝑐 𝑋$ を幅 $𝛿$ の区間で読み取るのは $𝑋$ を幅 $𝛿 / | 𝑐 |$ の区間で読み取るのと同じことなので，読み取った値のエントロピーは両者で等しい．定理 7.1.6 は微分エントロピーを $𝐻 + l o g (幅)$ の極限として与えているから，幅が $| 𝑐 |$ 分の $1$ になったぶんの $l o g | 𝑐 |$ が，そのまま差として残る．離散のエントロピーが値の読み替えで動かなかったのは，値の読み替えが「どの区間に入ったか」を変えないからである．引き伸ばしは，同じ幅の区間との関係を変えるので事情が違う．

意味をもつのは，同じ目盛で測った二つの微分エントロピーの差である． $𝑋$ と $𝑌$ を同時に $𝑐$ 倍すれば $ℎ (𝑋)$ と $ℎ (𝑌)$ はどちらも $l o g | 𝑐 |$ だけ増え，差は変わらない．7.5 節の相対エントロピーと相互情報量が差の形をしているのは偶然ではない．そこでは離散のときと同じ意味づけが戻ってくる．

例 7.3.5（一様分布）. $𝑈$ が区間 $[0, 1]$ の上の一様分布に従い， $𝑤 > 0$ とする．このとき $𝑤 𝑈$ は長さ $𝑤$ の区間の上の一様分布に従い， $ℎ (𝑤 𝑈) = l o g 𝑤$ である．

証明. $𝑈$ の密度は $[0, 1]$ の上で $1$ ，その外で $0$ である．補題 7.3.1 を $𝑐 = 𝑤$ ， $𝑏 = 0$ ととると， $𝑤 𝑈$ の密度の一つは $[0, 𝑤]$ の上で $1 / 𝑤$ ，その外で $0$ であり，これは長さ $𝑤$ の区間の上の一様分布の密度である．例 7.1.3 を $𝑤 = 1$ に当てると $ℎ (𝑈) = l o g 1 = 0$ だから，命題 7.3.3 より $ℎ (𝑤 𝑈) = 0 + l o g 𝑤 = l o g 𝑤$ である． $◼$

例 7.3.6（ガウス分布）. $𝑍$ が $N (0, 1)$ に従い， $𝜇$ を実数， $𝜎 > 0$ とする．このとき $𝜎 𝑍 + 𝜇$ は $N (𝜇, 𝜎 2)$ に従い， $ℎ (𝜎 𝑍 + 𝜇) = 12 l o g (2 𝜋 𝑒 𝜎 2)$ である．

証明. 補題 7.3.1 を $𝑐 = 𝜎$ ， $𝑏 = 𝜇$ ととると， $𝜎 𝑍 + 𝜇$ の密度の一つは

1 𝜎 𝑔 0, 1 (𝑥 - 𝜇 𝜎) = 1 𝜎 \sqrt 2 𝜋 e x p (- (𝑥 - 𝜇) 2 2 𝜎 2) = 𝑔 𝜇, 𝜎 2 (𝑥)

である（ $𝑔$ は定義 7.2.1 の記号）．よって $𝜎 𝑍 + 𝜇$ は $N (𝜇, 𝜎 2)$ に従う．微分エントロピーは，定理 7.2.2 を $N (0, 1)$ に当てて $ℎ (𝑍) = 12 l o g (2 𝜋 𝑒)$ を得たうえで，系 7.3.4 より

ℎ (𝜎 𝑍 + 𝜇) = 12 l o g (2 𝜋 𝑒) + l o g 𝜎 = 12 l o g (2 𝜋 𝑒 𝜎 2)

となる． $◼$

例 7.3.6 の値は定理 7.2.2 が $N (𝜇, 𝜎 2)$ について直接与えたものと一致する．定理 7.2.2 は密度の対数を平均する計算，例 7.3.6 は標準ガウス分布の値に引き伸ばしのぶんを足す計算で，別々の道から同じ値に着いている．例 7.2.6 で見た「一様分布とガウス分布の差が $𝜎$ によらない」ことも，ここから読める．どちらも $𝜎$ 倍で作れる分布なので， $𝜎$ を変えると両方が $l o g 𝜎$ ずつ動き，差は動かない．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．