9.4 ガウス情報源と逆注水

本節は，本章がここまで置いてきた有限アルファベットの約束の外に出る．9.1 節は情報源アルファベットも再現アルファベットも空でない有限集合としたが，実数値をとる情報源はその枠に入らない．例 9.1.4 の $2$ 乗歪みが枠の外にあるのと同じ理由である．そこで本節は，実数値の情報源についてレート歪み関数を定義し直す．置き換えるものは第7章がすでに用意している．有限アルファベットのエントロピーの代わりに微分エントロピー（定義 7.1.2）を，定義 1.3.1 の相互情報量の代わりに密度で書いた相互情報量（定義 7.5.4）を使えばよい．最小にする量も制約の形も，定義 9.1.5 とそのままの対応がつく．

先に断っておくことが一つある．9.5 節と 9.6 節が示す符号化定理は，どちらも有限アルファベットの情報源についてのものである．本節で定める量が符号のレートの限界でもあることを，本書は示さない．したがって本節の値は，第8章 8.2 節が $𝐶 (𝑃, 𝑁)$ を定めた段階と同じく，いまのところ最適化問題の値でしかない．あちらは 8.4 節で符号についての意味を得た（系 8.4.2）が，本節の値については本書はその段を踏まない．

記号を一つ断っておく．本節に現れる $𝜋$ は， $2 𝜋 𝑒$ のような式に出てくる円周率である．9.3 節が二値情報源のパラメータに使った $𝜋$ とは別の記号で，あちらが置いた引数の有無による見分け方の外にある．

ガウス情報源のレート歪み関数

定義 9.4.1（ガウス情報源のレート歪み関数）. $𝜎 2 > 0$ ， $𝐷 > 0$ とする．実数値確率変数の対 $(𝑋, ˆ 𝑋)$ が 歪み $𝐷$ 以下の再現の対 であるとは， $𝑋$ が $N (0, 𝜎 2)$ （定義 7.2.1）に従い，次の四つが成り立つことをいう．

$ˆ 𝑋$ は密度をもち， $ℎ (ˆ 𝑋)$ が定まる（定義 7.1.2）．
対 $(𝑋, ˆ 𝑋)$ は結合密度をもち（定義 7.1.1）， $ℎ (𝑋, ˆ 𝑋)$ が定まる．
$𝑋 - ˆ 𝑋$ は密度をもち， $ℎ (𝑋 - ˆ 𝑋)$ が定まり，平均をもつ．
$𝔼 [(𝑋 - ˆ 𝑋) 2]$ が定まって $𝐷$ 以下である．

歪み $𝐷$ 以下の再現の対の全体を $Q N (𝐷)$ と書く． $Q N (𝐷)$ が空でないとき，分散 $𝜎 2$ のガウス情報源のレート歪み関数 の値を

𝑅 N (𝐷) : = i n f (𝑋, ˆ 𝑋) \in Q N (𝐷) 𝐼 (𝑋; ˆ 𝑋)

で定める（ $𝐼$ は定義 7.5.4 の相互情報量である）．

定義 9.1.5 との対応は素直である．あちらが動かしたのは条件付き分布 $𝑞$ で，情報源の分布 $𝑝$ のほうは固定されていた．こちらが動かすのは対 $(𝑋, ˆ 𝑋)$ で，第 $1$ 成分の分布が $N (0, 𝜎 2)$ に固定されている．あちらの期待歪みにあたるのが第 $4$ の条件で，あちらの制約集合 $Q (𝐷)$ にあたるのが $Q N (𝐷)$ である．違うのは第 $1$ から第 $3$ の条件で，これは量が定まるようにするための技術的な絞り込みである．定理 7.2.2 より $ℎ (𝑋)$ は定まるから，第 $1$ と第 $2$ の条件を合わせると定理 7.5.6 の仮定が満たされ， $Q N (𝐷)$ のどの元についても $𝐼 (𝑋; ˆ 𝑋)$ は定まって，その値は $ℎ (𝑋) + ℎ (ˆ 𝑋) - ℎ (𝑋, ˆ 𝑋)$ に等しい．第 $3$ の条件は，下界の証明で $𝑋 - ˆ 𝑋$ に定理 7.2.4 を当てるために要る．密度をもたない再現のほうが少ないレートで済むかどうかを，この定義が否定しているのではない．第8章定義 8.2.1 が上限をとる範囲を絞ったのと同じ事情である．

形式化上の注記. 定義 9.4.1 が下限をとる相手は，確率空間をどうとってもよいので集合ではない．ただし四つの条件も $𝐼 (𝑋; ˆ 𝑋)$ の値も対 $(𝑋, ˆ 𝑋)$ の同時分布だけで決まるから， $ℝ 2$ 上の分布の集合の上の下限として読めばよい．第8章定義 8.2.1 も同じ扱いである．定義 9.4.1 に対応する宣言はない．レート歪み関数を測度の言葉で書いた宣言 rateDistortionFunction (InformationTheory/Shannon/RateDistortion/Converse.lean) はアルファベットを有限に限らないので，実数値の情報源に対しても値を返す．ただしそれが動かすのは，情報源の分布を第 $1$ 周辺にもち期待歪みが $𝐷$ 以下であるすべての同時分布であって，定義 9.4.1 のように結合密度をもつものに絞られていない．動かす範囲が違うので，二つの値が一致するかどうかを述べる宣言もない．レート歪み関数についてのそのほかの宣言のうち，符号を扱う逆定理と達成可能性の一連の宣言は，どれもアルファベットが有限であることを前提にしていて，実数値の情報源には当てられない．一方，非増加性（命題 9.2.1 に紐付けた宣言）と凸性（命題 9.2.3 に紐付けた宣言），および相互情報量で上から抑える rateDistortionFunction_le_mutualInfo_perLetter (InformationTheory/Shannon/RateDistortion/ConverseNLetter.lean) はアルファベットを有限に限らないので，実数値の情報源にも当たる．ただし凸性の宣言だけは，情報源の分布を第 $1$ 周辺にもつどの同時分布についても歪みが可積分である，という前提を受け取る．有限のアルファベットではこの前提が自動で満たされるのに対し，実数値の情報源では別に確かめることになる．そしてどれも rateDistortionFunction についての主張なので，動かす範囲が定義 9.4.1 と違うことは変わらない．

道具を二つ借りる．どちらも既出の章が借りたものを，確率変数の言葉で引き直すだけである．一つめは第7章 7.2 節が借りた ガウス分布の基本性質，すなわち $N (𝜇, 𝜎 2)$ （定義 7.2.1）に従う実数値確率変数の平均が $𝜇$ ，分散が $𝜎 2$ であることで， $2$ 乗の平均が $𝜇 2 + 𝜎 2$ であることはここから出る．二つめは第8章 8.1 節が借りた ガウス分布の畳み込み，すなわち独立で $N (𝜇 1, 𝜎 21)$ と $N (𝜇 2, 𝜎 22)$ に従う二つの実数値確率変数の和が $N (𝜇 1 + 𝜇 2, 𝜎 21 + 𝜎 22)$ に従うことである．あちらは密度の形で述べたが，こちらは確率変数の形で使い，しかも差についても同じこと，すなわち差が $N (𝜇 1 - 𝜇 2, 𝜎 21 + 𝜎 22)$ に従うことをあわせて借りる．当てる対象はどちらも本節に現れるガウス分布に従う実数値確率変数だけで，依存するのは命題 9.4.4 と命題 9.4.6 の証明である．畳み込みのほうは第16章 16.7 節が確率変数の形のまま引き直しており，そちらが当てる対象は 16.7 節と 16.8 節に現れるガウス分布に従う実数値確率変数，依存するのは第16章の例 16.7.9 と命題 16.8.1 の証明である．ただしあちらが引くのは和についてだけで，差については引かないので，引く形は本節の宣言より狭い．

差への置き換え

下界の証明は，情報源と再現の対 $(𝑋, ˆ 𝑋)$ を，再現と食い違い $𝑋 - ˆ 𝑋$ の対に取り替えるところから始まる．9.3 節が二値の場合に食い違いを表す確率変数を置いたのと同じ手である．取り替えても結合微分エントロピーが変わらないことを，先に見ておく．変わらない理由は絵で言える．この取り替えは平面のせん断であって面積を変えないので，密度の値の並び方もそのままだからである．ただし第 $1$ 成分に第 $2$ 成分が混じるので，第7章 7.3 節が借りた成分ごとの置換積分には含まれない．そこで一つ借りる．

平面の差への置き換えを借りる. 借りるのは二つの形である．一つめは置換積分で， $ℝ 2$ 上の実数値関数 $𝑢$ について

\int ℝ 2 𝑢 (𝑥, ˆ 𝑥) 𝑑 𝑥 𝑑 ˆ 𝑥 = \int ℝ 2 𝑢 (𝑤 + ˆ 𝑥, ˆ 𝑥) 𝑑 𝑤 𝑑 ˆ 𝑥

であり，一方が絶対収束すればもう一方も絶対収束する．二つめは密度の側の対応で， $(𝑋, ˆ 𝑋)$ が結合密度 $𝐹$ （定義 7.1.1）をもつならば $(𝑋 - ˆ 𝑋, ˆ 𝑋)$ は結合密度をもってその一つが $(𝑤, ˆ 𝑥) \mapsto 𝐹 (𝑤 + ˆ 𝑥, ˆ 𝑥)$ であり，逆に $(𝑉, ˆ 𝑋)$ が結合密度 $𝐺$ をもつならば $(𝑉 + ˆ 𝑋, ˆ 𝑋)$ は結合密度をもってその一つが $(𝑥, ˆ 𝑥) \mapsto 𝐺 (𝑥 - ˆ 𝑥, ˆ 𝑥)$ である，という形である．当てる対象は，本節に現れる $ℝ 2$ 上の結合密度と，それに対数を掛けた関数と，その絶対値だけであり，依存するのは補題 9.4.2 の証明だけである．密度の側もあわせて借りるのは，この置き換えが直方体を直方体に送らないので，定義 7.1.1 が直方体の確率で密度を定めたやり方からはそのまま読み取れないからである．本書はこの二つを証明しない．一つめの置換積分は，平面の測度を変えない写像であるという形で，Mathlib に無条件の機械検証済みの定理として置かれている．二つめの密度の側は，同じ主張を述べた単独の宣言が，結論の形で探しても見つからない．

補題 9.4.2（差への置き換えでの結合微分エントロピーの不変性）. $𝑋$ と $ˆ 𝑋$ を実数値確率変数とする．対 $(𝑋, ˆ 𝑋)$ が結合密度をもつことと，対 $(𝑋 - ˆ 𝑋, ˆ 𝑋)$ が結合密度をもつこととは同値である．そのとき， $ℎ (𝑋, ˆ 𝑋)$ が定まることと $ℎ (𝑋 - ˆ 𝑋, ˆ 𝑋)$ が定まることとは同値であり，定まるならば

ℎ (𝑋 - ˆ 𝑋, ˆ 𝑋) = ℎ (𝑋, ˆ 𝑋)

である．

証明. $(𝑋, ˆ 𝑋)$ が結合密度 $𝐹$ をもつとすると，借りた差への置き換えの密度の側より $(𝑋 - ˆ 𝑋, ˆ 𝑋)$ は結合密度をもち，その一つは $𝐹 * (𝑤, ˆ 𝑥) : = 𝐹 (𝑤 + ˆ 𝑥, ˆ 𝑥)$ である．逆に $(𝑋 - ˆ 𝑋, ˆ 𝑋)$ が結合密度をもつとすると， $𝑉 : = 𝑋 - ˆ 𝑋$ とおけば $𝑉 + ˆ 𝑋 = 𝑋$ だから，同じ借用の後半より $(𝑋, ˆ 𝑋)$ は結合密度をもつ．これで第 $1$ の同値を得る．

以下 $𝐹$ と $𝐹 *$ を上のとおりとする．借りた差への置き換えの置換積分を $𝑢 (𝑥, ˆ 𝑥) : = | 𝐹 (𝑥, ˆ 𝑥) l o g 𝐹 (𝑥, ˆ 𝑥) |$ に当てると

\int ℝ 2 ∣ 𝐹 * (𝑤, ˆ 𝑥) l o g 𝐹 * (𝑤, ˆ 𝑥) ∣ 𝑑 𝑤 𝑑 ˆ 𝑥 = \int ℝ 2 ∣ 𝐹 (𝑥, ˆ 𝑥) l o g 𝐹 (𝑥, ˆ 𝑥) ∣ 𝑑 𝑥 𝑑 ˆ 𝑥

である．よって一方が有限であることと他方が有限であることとは同値で，定義 7.1.2 により， $ℎ (𝑋, ˆ 𝑋)$ が定まることと $ℎ (𝑋 - ˆ 𝑋, ˆ 𝑋)$ が定まることとは同値である．定まるとき，同じ差への置き換えの置換積分を $𝑢 : = 𝐹 l o g 𝐹$ に当てれば符号を付けた積分も等しく，定義 7.1.2 より二つの結合微分エントロピーは等しい． $◻$

形式化上の注記. 補題 9.4.2 にあたる宣言は無い．平面のせん断で結合微分エントロピーが変わらないことを述べた宣言は形式化に無く，結論の形で探しても見つからない．

下界

定理 9.4.3（ガウス情報源についての相互情報量の下界）. $𝜎 2 > 0$ ， $𝐷 > 0$ とし， $Q N (\cdot)$ を定義 9.4.1 のとおりとする． $(𝑋, ˆ 𝑋) \in Q N (𝐷)$ ならば

𝐼 (𝑋; ˆ 𝑋) \geq 12 l o g 𝜎 2 𝐷

である．

証明. $𝑉 : = 𝑋 - ˆ 𝑋$ とおく．定義 9.4.1 の第 $2$ の条件と補題 9.4.2 より， $(𝑉, ˆ 𝑋)$ は結合密度をもち， $ℎ (𝑉, ˆ 𝑋)$ は定まって $ℎ (𝑋, ˆ 𝑋)$ に等しい．

対 $(𝑉, ˆ 𝑋)$ に劣加法性を当てる．定義 9.4.1 の第 $3$ の条件より $ℎ (𝑉)$ が定まり，第 $1$ の条件より $ℎ (ˆ 𝑋)$ が定まり，いま見たとおり $ℎ (𝑉, ˆ 𝑋)$ も定まるから，定理 7.4.3 を $2$ 個の確率変数の組に当てると

ℎ (𝑋, ˆ 𝑋) = ℎ (𝑉, ˆ 𝑋) \leq ℎ (𝑉) + ℎ (ˆ 𝑋)

である．

$ℎ (𝑉)$ を上から抑える．定義 9.4.1 の第 $3$ の条件より $𝑉$ は密度をもち， $ℎ (𝑉)$ は定まり，平均をもつ．その分散は $𝔼 [𝑉 2] - 𝔼 [𝑉] 2$ で $𝔼 [𝑉 2]$ 以下であり，第 $4$ の条件よりこれは $𝐷$ 以下である． $𝐷 > 0$ だから，定理 7.2.4 をその主張の $𝜎 2$ を $𝐷$ ととって当てて $ℎ (𝑉) \leq 12 l o g (2 𝜋 𝑒 𝐷)$ である．

相互情報量に直す．定理 7.2.2 より $ℎ (𝑋)$ は定まって $12 l o g (2 𝜋 𝑒 𝜎 2)$ であり，定義 9.4.1 の第 $1$ と第 $2$ の条件と合わせて定理 7.5.6 の仮定が満たされるから

𝐼 (𝑋; ˆ 𝑋) = ℎ (𝑋) + ℎ (ˆ 𝑋) - ℎ (𝑋, ˆ 𝑋) \geq ℎ (𝑋) + ℎ (ˆ 𝑋) - ℎ (𝑉) - ℎ (ˆ 𝑋) = ℎ (𝑋) - ℎ (𝑉)

である．よって

𝐼 (𝑋; ˆ 𝑋) \geq 12 l o g (2 𝜋 𝑒 𝜎 2) - 12 l o g (2 𝜋 𝑒 𝐷) = 12 l o g 𝜎 2 𝐷

を得る． $◼$

形式化上の注記. 定理 9.4.3 にあたる宣言は無い．ガウス情報源についてこの下界を述べた宣言は形式化に無く，結論の形で探しても見つからない．

証明で歪みの制約が効いたのは一か所だけで，食い違い $𝑋 - ˆ 𝑋$ の分散を $𝐷$ で抑えるところである．散らばりを抑えられた分布の微分エントロピーには上限があり（定理 7.2.4），その上限が $12 l o g (2 𝜋 𝑒 𝐷)$ である．9.3 節の二値の情報源では「食い違いの不確かさは $𝐻 𝑏 (𝐷)$ を超えない」という段だったところが，そのまま「 $12 l o g (2 𝜋 𝑒 𝐷)$ を超えない」に置き換わっている．差し引かれる相手が情報源だけで決まる定数 $ℎ (𝑋)$ であることも，9.3 節で $𝐻 (𝑋) = 𝐻 𝑏 (𝜋)$ が条件付き分布によらなかったのと同じである．

逆向きの構成と達成

順向きに作るとどうなるかを，先に見ておく．いちばん素直に思いつくのは，情報源 $𝑋$ に $N (0, 𝐷)$ に従う雑音を独立に足して再現 $ˆ 𝑋$ を作る向きである．この作り方では下界に届かない．計算は命題 9.4.4 と同じ筋で，違うのは足す向きだけなので，ここでは順にたどらずに結果だけを言う．歪みは目標どおりちょうど $𝐷$ になり，相互情報量は $12 l o g (1 + 𝜎 2 / 𝐷)$ になる． $1 + 𝜎 2 / 𝐷$ は $𝜎 2 / 𝐷$ より大きいから，補題 8.2.5 よりこの値は定理 9.4.3 の下界 $12 l o g (𝜎 2 / 𝐷)$ より大きい．順向きに作ると損をする，ということである．

達成の側も 9.3 節と同じ形になる．定理 9.4.3 の証明で不等号が入ったのは，定理 7.4.3 の劣加法性を当てたところと，定理 7.2.4 で食い違いの微分エントロピーを抑えたところである．前者は，食い違いが再現と独立であれば等号になる（系 7.4.4）．後者は，食い違いが分散 $𝐷$ のガウス分布に従えば等号になる（系 7.2.5）．どちらの条件も，再現 $ˆ 𝑋$ を先に置き，そこに $N (0, 𝐷)$ に従う雑音を独立に足して情報源 $𝑋$ を作れば，作った時点で満たされる．残るのは，こうしてできた $𝑋$ の分布が $N (0, 𝜎 2)$ になるように， $ˆ 𝑋$ の分散を選ぶことだけである．

命題 9.4.4（下界を達成する対）. $𝜎 2 > 0$ ， $0 < 𝐷 < 𝜎 2$ とする． $ˆ 𝑋$ と $𝑉$ を独立な実数値確率変数で， $ˆ 𝑋$ が $N (0, 𝜎 2 - 𝐷)$ に， $𝑉$ が $N (0, 𝐷)$ に従うもの（定義 7.2.1）とし， $𝑋 : = ˆ 𝑋 + 𝑉$ とおく．このとき $𝑋$ は $N (0, 𝜎 2)$ に従い，対 $(𝑋, ˆ 𝑋)$ は $Q N (𝐷)$ に属し（ $Q N (\cdot)$ は定義 9.4.1 のとおり）， $𝔼 [(𝑋 - ˆ 𝑋) 2] = 𝐷$ かつ

𝐼 (𝑋; ˆ 𝑋) = 12 l o g 𝜎 2 𝐷

である．

証明. $0 < 𝐷 < 𝜎 2$ より $𝜎 2 - 𝐷 > 0$ だから， $N (0, 𝜎 2 - 𝐷)$ は定義 7.2.1 の意味で定まる．借りたガウス分布の畳み込みより， $𝑋 = ˆ 𝑋 + 𝑉$ は $N (0, (𝜎 2 - 𝐷) + 𝐷)$ ，すなわち $N (0, 𝜎 2)$ に従う．

定理 7.2.2 より $ℎ (ˆ 𝑋)$ ， $ℎ (𝑉)$ ， $ℎ (𝑋)$ はどれも定まって

ℎ (ˆ 𝑋) = 12 l o g (2 𝜋 𝑒 (𝜎 2 - 𝐷)), ℎ (𝑉) = 12 l o g (2 𝜋 𝑒 𝐷), ℎ (𝑋) = 12 l o g (2 𝜋 𝑒 𝜎 2)

である．とくに定義 9.4.1 の第 $1$ の条件が成り立つ．

第 $2$ の条件を見る． $ˆ 𝑋$ と $𝑉$ は独立で，どちらも密度をもち微分エントロピーが定まるから，系 7.4.4 を対 $(𝑉, ˆ 𝑋)$ に当てると， $(𝑉, ˆ 𝑋)$ は結合密度をもち， $ℎ (𝑉, ˆ 𝑋)$ は定まって $ℎ (𝑉) + ℎ (ˆ 𝑋)$ に等しい． $𝑋 - ˆ 𝑋 = 𝑉$ だから，補題 9.4.2 より $(𝑋, ˆ 𝑋)$ も結合密度をもち， $ℎ (𝑋, ˆ 𝑋)$ は定まって $ℎ (𝑉, ˆ 𝑋)$ に等しい．

第 $3$ と第 $4$ の条件を見る． $𝑋 - ˆ 𝑋 = 𝑉$ は $N (0, 𝐷)$ に従うから密度をもち，定理 7.2.2 より $ℎ (𝑉)$ は定まり，借りたガウス分布の基本性質より平均 $0$ をもって $𝔼 [𝑉 2] = 0 + 𝐷 = 𝐷$ である．よって $(𝑋, ˆ 𝑋) \in Q N (𝐷)$ であり， $𝔼 [(𝑋 - ˆ 𝑋) 2] = 𝐷$ である．

相互情報量を求める．いま確かめた条件から定理 7.5.6 の仮定が満たされ

𝐼 (𝑋; ˆ 𝑋) = ℎ (𝑋) + ℎ (ˆ 𝑋) - ℎ (𝑋, ˆ 𝑋) = ℎ (𝑋) + ℎ (ˆ 𝑋) - ℎ (𝑉) - ℎ (ˆ 𝑋) = ℎ (𝑋) - ℎ (𝑉)

である．右辺は $12 l o g (2 𝜋 𝑒 𝜎 2) - 12 l o g (2 𝜋 𝑒 𝐷)$ で， $12 l o g (𝜎 2 / 𝐷)$ に等しい． $◼$

形式化上の注記. 命題 9.4.4 にあたる宣言は無い．ガウス情報源の下界を達成する対を作る宣言は形式化に無く，結論の形で探しても見つからない．

系 9.4.5（ガウス情報源のレート歪み関数の値）. $𝜎 2 > 0$ ， $0 < 𝐷 \leq 𝜎 2$ とし， $Q N (\cdot)$ と $𝑅 N (\cdot)$ を定義 9.4.1 のとおりとする．このとき $Q N (𝐷)$ は空でなく

𝑅 N (𝐷) = 12 l o g 𝜎 2 𝐷

である．

証明. まず $𝑅 N (𝐷) \leq 12 l o g (𝜎 2 / 𝐷)$ を見る． $𝐷 < 𝜎 2$ のときは，命題 9.4.4 より $Q N (𝐷)$ は空でなく， $𝐼 (𝑋; ˆ 𝑋) = 12 l o g (𝜎 2 / 𝐷)$ を満たす元をもつ． $𝑅 N (𝐷)$ は値の集合 ${𝐼 (𝑋; ˆ 𝑋) : (𝑋, ˆ 𝑋) \in Q N (𝐷)}$ の下限だから，この元をとって不等式を得る．

$𝐷 = 𝜎 2$ のときは，この値を与える元を命題 9.4.4 からは直接とれないので，値をいくらでも $0$ に近づける元でまかなう． $𝜀 > 0$ を任意にとり， $𝐷' : = 𝜎 2 2 - 2 𝜀$ とおくと $0 < 𝐷' < 𝜎 2$ である．命題 9.4.4 を $𝐷'$ に当てて得られる対 $(𝑋, ˆ 𝑋)$ は $𝔼 [(𝑋 - ˆ 𝑋) 2] = 𝐷'$ を満たし，これは $𝜎 2$ 以下だから，定義 9.4.1 の第 $4$ の条件は $𝐷 = 𝜎 2$ についても成り立つ．残る三つの条件は $𝐷$ を含まないので，この対は $Q N (𝜎 2)$ にも属する．とくに $Q N (𝜎 2)$ は空でない．その相互情報量は $12 l o g (𝜎 2 / 𝐷') = 12 l o g 2 2 𝜀 = 𝜀$ だから $𝑅 N (𝜎 2) \leq 𝜀$ であり， $𝜀$ は任意だから $𝑅 N (𝜎 2) \leq 0 = 12 l o g (𝜎 2 / 𝜎 2)$ である．

逆向きはどちらの場合も同じである．定理 9.4.3 より値の集合のどの元も $12 l o g (𝜎 2 / 𝐷)$ 以上だから， $12 l o g (𝜎 2 / 𝐷)$ は下界であり，下限はそれ以上である．二つを合わせて等号を得る． $◼$

形式化上の注記. 系 9.4.5 にあたる宣言は無い．ガウス情報源のレート歪み関数の値を述べた宣言は形式化に無く，結論の形で探しても見つからない．

命題 9.4.6. $𝜎 2 > 0$ とし， $𝐷$ を $𝐷 > 𝜎 2$ を満たす実数とし， $Q N (\cdot)$ と $𝑅 N (\cdot)$ を定義 9.4.1 のとおりとする．このとき $Q N (𝐷)$ は空でなく $𝑅 N (𝐷) = 0$ である．

証明. $𝑋$ を $N (0, 𝜎 2)$ に従う実数値確率変数とし， $ˆ 𝑋$ を $𝑋$ と独立で $N (0, 𝐷 - 𝜎 2)$ に従う実数値確率変数とする（ $𝐷 > 𝜎 2$ より分散は正である）．

定理 7.2.2 より $ℎ (𝑋)$ と $ℎ (ˆ 𝑋)$ は定まるから，定義 9.4.1 の第 $1$ の条件が成り立つ．系 7.4.4 を対 $(𝑋, ˆ 𝑋)$ に当てると， $(𝑋, ˆ 𝑋)$ は結合密度をもち， $ℎ (𝑋, ˆ 𝑋)$ は定まって $ℎ (𝑋) + ℎ (ˆ 𝑋)$ に等しく，第 $2$ の条件も成り立つ．借りたガウス分布の畳み込みの差についての形より $𝑋 - ˆ 𝑋$ は $N (0, 𝜎 2 + (𝐷 - 𝜎 2))$ ，すなわち $N (0, 𝐷)$ に従うから，密度をもち，定理 7.2.2 より $ℎ (𝑋 - ˆ 𝑋)$ は定まり，借りたガウス分布の基本性質より平均 $0$ をもって $𝔼 [(𝑋 - ˆ 𝑋) 2] = 𝐷$ である．よって第 $3$ と第 $4$ の条件も成り立ち， $(𝑋, ˆ 𝑋) \in Q N (𝐷)$ で， $Q N (𝐷)$ は空でない．

定理 7.5.6 より $𝐼 (𝑋; ˆ 𝑋) = ℎ (𝑋) + ℎ (ˆ 𝑋) - ℎ (𝑋, ˆ 𝑋) = 0$ である．同じ定理より $Q N (𝐷)$ のどの元でも $𝐼 (𝑋; ˆ 𝑋) \geq 0$ だから， $0$ は値の集合の下界であり，かつその元でもある．よって下限は $0$ である． $◼$

形式化上の注記. 命題 9.4.6 にあたる宣言は無い．歪みを分散より多く許したときにガウス情報源のレート歪み関数が $0$ になることを述べた宣言は形式化に無く，結論の形で探しても見つからない．

これで $𝐷 > 0$ のすべての点で値が決まったことになるが， $𝐷 = 𝜎 2$ のちょうどの点だけは，二つの作り方のどちらも届いていない．命題 9.4.4 の作り方は $ˆ 𝑋$ の分散が $𝜎 2 - 𝐷$ なので $𝐷 < 𝜎 2$ でしか使えず，命題 9.4.6 の作り方は $ˆ 𝑋$ の分散が $𝐷 - 𝜎 2$ なので $𝐷 > 𝜎 2$ でしか使えない．分散 $0$ のガウス分布が定義 7.2.1 の外にあるからである．それでも値が決まるのは，歪みを $𝜎 2$ まで許してよいなら $𝐷 < 𝜎 2$ 用の対をそのまま使ってよいからで，系 9.4.5 の証明はこの点だけ，相互情報量を $0$ にいくらでも近づける対で下限を押さえている．

両端で確かめる. 右の端では，系 9.4.5 の値 $12 l o g (𝜎 2 / 𝐷)$ が $𝐷 = 𝜎 2$ でちょうど $0$ になり，そこから先を扱う命題 9.4.6 の値とつながる．左の端は 9.3 節と様子が違う．二値の情報源では $𝐷 = 0$ でも $𝑅 (0) = 𝐻 𝑏 (𝜋)$ という有限の値だった（定理 9.3.4）が，こちらは $𝐷$ を小さくすると $12 l o g (𝜎 2 / 𝐷)$ がいくらでも大きくなる．実数を有限の精度で読み取った値のエントロピーが，精度を上げると発散する（定理 7.1.6）ことと向きが合っている．定義 9.4.1 が $𝐷 > 0$ を課しているのも， $𝐷 = 0$ をこの枠で扱えないからである．

規模感. $𝐷 = 𝜎 2 / 4$ ，すなわち食い違いの $2$ 乗の平均を情報源の分散の $1 / 4$ まで許すなら，系 9.4.5 の値は $12 l o g 2 4 = 1$ ビットである． $𝜎 2 / 100$ まで絞ると $12 l o g 2 100 = 3.3219 \dots$ ビットになる．歪みを半分にするたびに $12 l o g 2 2 = 0.5$ ビットずつ増える，という増え方である．効くのは比の対数であって，比そのものではない．第8章 8.1 節でガウス通信路の運ぶ量が信号対雑音比の対数で決まったのと，同じ形である．

歪みを配る

情報源が一つとは限らない．たがいに独立な $𝑛$ 個のガウス情報源があって，分散が情報源ごとに違うとする．全体の歪みを $𝐷$ 以下に抑えたいとき，どの情報源にどれだけの歪みを割り当てるのがよいか．第8章 8.6 節が並列ガウス通信路について，限られた総電力をどう配るかを問うたのと，同じ形の問いである．ただし向きが逆になる．あちらは電力を配って対数の和を最大にし，こちらは歪みを配って対数の和を最小にする．

記号を二つ断っておく．本節の $𝑛$ は並列に並べる情報源の個数で，定義 9.1.2 がブロックの長さに使った $𝑛$ とは別である．情報源の番号は本節に限り $1$ から $𝑛$ までとする．水位は第8章 8.6 節と同じく $𝜈$ と書く．

定義 9.4.7（並列ガウス情報源と歪み配分）. $𝑛 \geq 1$ とし， $𝜎 21, \dots, 𝜎 2 𝑛$ を正の実数とする．分散がそれぞれ $𝜎 21, \dots, 𝜎 2 𝑛$ である $𝑛$ 個のガウス情報源，すなわち $N (0, 𝜎 2 𝑖)$ （定義 7.2.1）に従う情報源を，たがいに独立に並べたものを 並列ガウス情報源 と呼ぶ．合計歪み $𝐷 > 0$ の制約のもとでの 歪み配分 とは， $𝐷 𝑖 > 0$ （ $1 \leq 𝑖 \leq 𝑛$ ）かつ $\sum 𝑛 𝑖 = 1 𝐷 𝑖 \leq 𝐷$ を満たす実数の組 $(𝐷 1, \dots, 𝐷 𝑛)$ のことをいう．その 合計レート を

𝑛 \sum 𝑖 = 1 m a x (0, 12 l o g 𝜎 2 𝑖 𝐷 𝑖)

で定める．

合計レートの各項は，第 $𝑖$ 情報源だけを歪み $𝐷 𝑖$ で再現するときのレート歪み関数の値である． $𝐷 𝑖 \leq 𝜎 2 𝑖$ なら系 9.4.5 によりその値は $12 l o g (𝜎 2 𝑖 / 𝐷 𝑖)$ で，対数の中身が $1$ 以上だからこれは $0$ 以上であり， $m a x$ はその値を返す． $𝐷 𝑖 > 𝜎 2 𝑖$ なら命題 9.4.6 により値は $0$ で，対数の中身が $1$ より小さいので $12 l o g (𝜎 2 𝑖 / 𝐷 𝑖)$ は負であり， $m a x$ はやはり $0$ を返す． $m a x$ は，この二つの場合を一つの式に畳んでいる．和の形になっているのは， $𝑛$ 個の情報源を別々に扱う勘定だからである． $𝑛$ 個をまとめて一つの情報源とみなしたときのレート歪み関数を本書は定義しないので，合計レートは各情報源のレート歪み関数の値を足したものとしてだけ読む．

形式化上の注記. 定義 9.4.7 に対応する単独の宣言はない． $𝑛$ 個をまとめた情報源のレート歪み関数を述べる宣言もない．形式化の並列ガウスの一連の宣言は通信路の側のもので，parallelGaussianCapacity (InformationTheory/Shannon/ParallelGaussian/Basic.lean) が扱うのは容量，すなわち相互情報量の上限であって，歪みの配分ではない．

定義 9.4.8（逆注水配分）. $𝑛 \geq 1$ とし， $𝜎 21, \dots, 𝜎 2 𝑛$ を正の実数， $𝜈$ を実数とする．

𝐷 * 𝑖 (𝜈) : = m i n (𝜈, 𝜎 2 𝑖) (1 \leq 𝑖 \leq 𝑛)

で定まる組を，水位 $𝜈$ の 逆注水配分 と呼ぶ．

名前の由来は絵にある．底が平らな一続きの容器を思い，横幅を $𝑛$ 等分した第 $𝑖$ の区画に，高さ $𝜎 2 𝑖$ のところでふたをする．そこに水を注ぐと，ふたに届いていない区画では水面が同じ高さ $𝜈$ でそろい，ふたに届いた区画（ $𝜎 2 𝑖 \leq 𝜈$ ）ではふたの高さで止まる．第 $𝑖$ の区画に入る水の深さはどちらの場合も $m i n (𝜈, 𝜎 2 𝑖)$ で，これが第 $𝑖$ 情報源に配る歪みにあたる．ふたまでの高さのうち水に浸かっていない部分 $𝜎 2 𝑖 - m i n (𝜈, 𝜎 2 𝑖)$ が，符号で送る部分である．したがって，ふたまで水で満たされた区画とは，分散をそのまま歪みとして払って何も送らない区画のことである．

この絵は第8章 8.6 節の絵の裏返しで，裏返っているのは二つである．一つめは水の意味で，あちらの水は配る電力だったが，こちらの水は捨てる歪みである．二つめは底の段がふたに変わったことである．あちらは，底が段になった容器の第 $𝑖$ の区画の底の高さを雑音の分散 $𝑁 𝑖$ にとり，水面 $𝜈$ までの深さ $m a x (0, 𝜈 - 𝑁 𝑖)$ をその通信路に配る電力と読んだ（定義 8.6.2）．こちらは底が平らで，代わりに高さ $𝜎 2 𝑖$ のふたが区画ごとの違いを担う．配らない区画の出かたも裏返る．あちらでは底が水面より上に出た区画に電力を配らなかったが，こちらではふたまで水で満たされた区画にレートを配らない．

水面がそろうところが最適なのはなぜか，を絵の言葉で言っておく．以下では，対数の導関数が $(l o g 𝑒) / 𝑡$ であることを微積分の計算規則として既知とする．当てる相手は，この段落で $12 l o g (𝜎 2 𝑖 / 𝐷 𝑖)$ を $𝐷 𝑖$ で微分するところだけである．第 $𝑖$ 情報源に配る歪みをほんの少し増やすと，合計レートの第 $𝑖$ 項は歪み $1$ 単位あたり $l o g 𝑒 2 𝐷 𝑖$ だけ減る（ $12 l o g (𝜎 2 𝑖 / 𝐷 𝑖) = 12 l o g 𝜎 2 𝑖 - 12 l o g 𝐷 𝑖$ を $𝐷 𝑖$ で微分すればよい）．分母が配った歪みそのものなので，水の浅い区画ほど，歪みを $1$ 単位足したときに減るレートが大きい．任意の配分は，区画のあいだに仕切りを立てて水面の高さをばらばらにした状態にあたり，仕切りを外すと水面がそろう，と見ればよい．水面の高い区画から水面の低い区画へ歪みを少し移せば，増えるぶんより減るぶんが大きく，合計レートは減る．移して得をする組がなくなるのは，ふたに届いていない区画の水面がすべてそろい，しかもふたまで満たされた区画がそれ以上の歪みを受け取らないときで，これが逆注水配分の形にほかならない．そこでは，ふたに届いていないどの区画でも減り方が同じ $l o g 𝑒 2 𝜈$ になる．この $l o g 𝑒 2 𝜈$ が，あとで補題 9.4.10 が下から抑えるのに使う接線の傾きである．

水位の存在と一意性

道具を一つ借りる．中間値の定理，すなわち「有界閉区間の上の実数値連続関数は，両端での値のあいだのどの値もとる」という微積分の定理である．当てる相手は，定理 9.4.9 の証明で置く $1$ 変数の実数値関数 $𝜓 (𝜈) = \sum 𝑛 𝑖 = 1 m i n (𝜈, 𝜎 2 𝑖)$ の，有界閉区間 $[0, m a x 𝑖 𝜎 2 𝑖]$ への制限だけであり，依存するのは定理 9.4.9 の証明だけである．第8章 8.6 節が水位の存在（定理 8.6.3）のために借りたのと同じ定理である．また，連続関数の有限個の最小値と有限和がふたたび連続であることを，微積分の計算規則として既知とする．

定理 9.4.9（水位の存在と一意性）. $𝑛 \geq 1$ とし， $𝜎 21, \dots, 𝜎 2 𝑛$ を正の実数， $𝐷$ を $0 < 𝐷 < \sum 𝑛 𝑖 = 1 𝜎 2 𝑖$ を満たす実数とする．このとき

𝑛 \sum 𝑖 = 1 m i n (𝜈, 𝜎 2 𝑖) = 𝐷

を満たす実数 $𝜈$ がただ一つ存在し，それは $0 < 𝜈 < m a x 1 \leq 𝑖 \leq 𝑛 𝜎 2 𝑖$ を満たす．

証明. $𝜓 (𝜈) : = \sum 𝑛 𝑖 = 1 m i n (𝜈, 𝜎 2 𝑖)$ ， $𝜈 1 : = m a x 1 \leq 𝑖 \leq 𝑛 𝜎 2 𝑖$ とおく．各 $𝜈 \mapsto m i n (𝜈, 𝜎 2 𝑖)$ は連続関数の最小値だから連続であり，その有限和である $𝜓$ も連続である．

両端の値を見る． $𝜎 2 𝑖 > 0$ より $𝜓 (0) = \sum 𝑖 m i n (0, 𝜎 2 𝑖) = 0$ である．どの $𝑖$ でも $𝜈 1 \geq 𝜎 2 𝑖$ だから $𝜓 (𝜈 1) = \sum 𝑖 𝜎 2 𝑖$ であり，仮定よりこれは $𝐷$ より大きい．

$𝜓$ は閉区間 $[0, 𝜈 1]$ の上で連続で， $𝜓 (0) = 0 < 𝐷 < 𝜓 (𝜈 1)$ だから，借りた中間値の定理より $𝜓 (𝜈) = 𝐷$ を満たす $𝜈 \in [0, 𝜈 1]$ が存在する．

解の位置を見る． $𝜈 \leq 0$ ならば，どの $𝑖$ でも $𝜈 \leq 0 < 𝜎 2 𝑖$ だから $m i n (𝜈, 𝜎 2 𝑖) = 𝜈$ で， $𝜓 (𝜈) = 𝑛 𝜈 \leq 0 < 𝐷$ である． $𝜈 \geq 𝜈 1$ ならば $𝜓 (𝜈) = \sum 𝑖 𝜎 2 𝑖 > 𝐷$ である．よって $𝜓 (𝜈) = 𝐷$ を満たす実数はすべて $0 < 𝜈 < 𝜈 1$ を満たす．

一意性を見る． $0 \leq 𝜈 𝑎 < 𝜈 𝑏 \leq 𝜈 1$ とする．各 $𝑖$ について $m i n (𝜈 𝑎, 𝜎 2 𝑖) \leq m i n (𝜈 𝑏, 𝜎 2 𝑖)$ である．最大を与える番号を $𝑖 1$ （ $𝜎 2 𝑖 1 = 𝜈 1$ ）とすると， $𝜈 𝑎 < 𝜈 𝑏 \leq 𝜎 2 𝑖 1$ だから第 $𝑖 1$ 項の二つの値は $𝜈 𝑎$ と $𝜈 𝑏$ に等しい．項ごとに足し合わせると $𝜓 (𝜈 𝑏) - 𝜓 (𝜈 𝑎) \geq 𝜈 𝑏 - 𝜈 𝑎 > 0$ である．よって $𝜓$ は $[0, 𝜈 1]$ の上で狭義単調増加であり，そこで値 $𝐷$ をとる実数は一つしかない．解はすべてこの区間に入るので， $𝜓 (𝜈) = 𝐷$ を満たす実数はただ一つである． $◼$

形式化上の注記. 定理 9.4.9 に対応する宣言はない．形式化の水位は通信路の側のもので，exists_waterFillingKKT_of_pos (InformationTheory/Shannon/ParallelGaussian/KKT.lean) が与えるのは，注水配分 waterFillingPower (InformationTheory/Shannon/ParallelGaussian/Basic.lean) の総和が総電力に等しくなる水位の存在である．配分の式が $m a x (0, 𝜈 - 𝑁 𝑖)$ で，定義 9.4.8 の $m i n (𝜈, 𝜎 2 𝑖)$ とは形が違う．

逆注水の最適性

最適性の証明も，第8章 8.6 節と同じ道具ひとつで通る．補題 1.1.7 の対数不等式 $l o g 𝑢 \leq (𝑢 - 1) l o g 𝑒$ である．逆注水配分の点で対数に接線を引き，そのぶんだけ下から抑える．それを述べるのが補題 9.4.10 である．

補題 9.4.10（逆注水配分での接線）. $𝜎 2 > 0$ ， $𝜈 > 0$ とし， $𝐷 * : = m i n (𝜈, 𝜎 2)$ とおく．このとき，どの実数 $𝑡 > 0$ についても

m a x (0, 12 l o g 𝜎 2 𝑡) \geq m a x (0, 12 l o g 𝜎 2 𝐷 *) - l o g 𝑒 2 𝜈 (𝑡 - 𝐷 *)

である．

証明. 場合分けの形は第8章補題 8.6.4 と同じである．どちらも水位 $𝜈$ と分散（あちらは雑音の $𝑁$ ，こちらは情報源の $𝜎 2$ ）の大小で二つに分け，どちらの場合も 1.1 節の対数不等式ひとつで済む．違うのは抑える向きと，こちらでは左辺の $m a x$ を別に扱うところである．

まず，どの $𝑠 > 0$ と $𝑡 > 0$ についても成り立つ不等式を用意する．補題 1.1.7 の対数不等式 $l o g 𝑢 \leq (𝑢 - 1) l o g 𝑒$ を $𝑢 : = 𝑡 / 𝑠$ に当てると $l o g (𝑡 / 𝑠) \leq 𝑡 - 𝑠 𝑠 l o g 𝑒$ であり，両辺の符号を変えて $l o g (𝑠 / 𝑡) \geq - 𝑡 - 𝑠 𝑠 l o g 𝑒$ を得る． $12 l o g (𝜎 2 / 𝑡) - 12 l o g (𝜎 2 / 𝑠) = 12 l o g (𝑠 / 𝑡)$ だから

12 l o g 𝜎 2 𝑡 \geq 12 l o g 𝜎 2 𝑠 - l o g 𝑒 2 𝑠 (𝑡 - 𝑠)

である． $𝜈$ と $𝜎 2$ の大小で場合を分ける．

$𝜈 < 𝜎 2$ のときは $𝐷 * = 𝜈$ である． $𝜎 2 / 𝜈 > 1$ より $12 l o g (𝜎 2 / 𝜈) > 0$ で，主張の右辺の $m a x$ はこの値を返す．用意した不等式を $𝑠 : = 𝜈$ ととって使うと

12 l o g 𝜎 2 𝑡 \geq 12 l o g 𝜎 2 𝜈 - l o g 𝑒 2 𝜈 (𝑡 - 𝜈)

である． $12 l o g (𝜎 2 / 𝑡)$ は $m a x (0, 12 l o g (𝜎 2 / 𝑡))$ 以下だから，主張の不等式を得る．

$𝜈 \geq 𝜎 2$ のときは $𝐷 * = 𝜎 2$ で， $12 l o g (𝜎 2 / 𝐷 *) = 12 l o g 1 = 0$ だから，主張の右辺の $m a x$ は $0$ を返し，示すべきことは

m a x (0, 12 l o g 𝜎 2 𝑡) \geq - l o g 𝑒 2 𝜈 (𝑡 - 𝜎 2)

である． $𝑡 \geq 𝜎 2$ ならば右辺は $0$ 以下で左辺は $0$ 以上だから成り立つ． $𝑡 < 𝜎 2$ とする．用意した不等式を $𝑠 : = 𝜎 2$ ととって使うと， $12 l o g (𝜎 2 / 𝜎 2) = 0$ だから

12 l o g 𝜎 2 𝑡 \geq - l o g 𝑒 2 𝜎 2 (𝑡 - 𝜎 2) = l o g 𝑒 2 \cdot 𝜎 2 - 𝑡 𝜎 2

である． $0 < 𝜎 2 \leq 𝜈$ と $𝜎 2 - 𝑡 > 0$ より $𝜎 2 - 𝑡 𝜎 2 \geq 𝜎 2 - 𝑡 𝜈$ だから，右辺は $l o g 𝑒 2 \cdot 𝜎 2 - 𝑡 𝜈$ 以上で，これは $- l o g 𝑒 2 𝜈 (𝑡 - 𝜎 2)$ に等しい． $12 l o g (𝜎 2 / 𝑡)$ は $m a x (0, 12 l o g (𝜎 2 / 𝑡))$ 以下だから，主張の不等式を得る． $◻$

定理 9.4.11（逆注水配分の最適性）. $𝑛 \geq 1$ とし， $𝜎 21, \dots, 𝜎 2 𝑛$ を正の実数， $𝐷 > 0$ を実数とする．実数 $𝜈$ が $\sum 𝑛 𝑖 = 1 m i n (𝜈, 𝜎 2 𝑖) = 𝐷$ を満たすとする．このとき逆注水配分 $(𝐷 * 1 (𝜈), \dots, 𝐷 * 𝑛 (𝜈))$ は合計歪み $𝐷$ の制約のもとでの歪み配分（定義 9.4.7）であり， $𝐷' 𝑖 > 0$ （ $1 \leq 𝑖 \leq 𝑛$ ）かつ $\sum 𝑛 𝑖 = 1 𝐷' 𝑖 \leq 𝐷$ を満たすどの実数の組 $(𝐷' 1, \dots, 𝐷' 𝑛)$ についても

𝑛 \sum 𝑖 = 1 m a x (0, 12 l o g 𝜎 2 𝑖 𝐷' 𝑖) \geq 𝑛 \sum 𝑖 = 1 m a x (0, 12 l o g 𝜎 2 𝑖 𝐷 * 𝑖 (𝜈))

である（ $𝐷 * 𝑖 (𝜈)$ は定義 9.4.8 の逆注水配分）．

証明. まず $𝜈 > 0$ を見る．仮定の和は $𝐷 > 0$ だから，ある $𝑖$ で $m i n (𝜈, 𝜎 2 𝑖) > 0$ であり，とくに $𝜈 > 0$ である．したがって各 $𝐷 * 𝑖 (𝜈) = m i n (𝜈, 𝜎 2 𝑖)$ は正であり，総和は仮定よりちょうど $𝐷$ で， $𝐷$ 以下である．よって逆注水配分は定義 9.4.7 の歪み配分の条件を満たす．

各項に補題 9.4.10 を， $𝜎 2 : = 𝜎 2 𝑖$ ， $𝑡 : = 𝐷' 𝑖$ ととって当てると， $𝐷 * = 𝐷 * 𝑖 (𝜈)$ であり

m a x (0, 12 l o g 𝜎 2 𝑖 𝐷' 𝑖) \geq m a x (0, 12 l o g 𝜎 2 𝑖 𝐷 * 𝑖 (𝜈)) - l o g 𝑒 2 𝜈 (𝐷' 𝑖 - 𝐷 * 𝑖 (𝜈))

である． $𝑖$ について足すと

𝑛 \sum 𝑖 = 1 m a x (0, 12 l o g 𝜎 2 𝑖 𝐷' 𝑖) \geq 𝑛 \sum 𝑖 = 1 m a x (0, 12 l o g 𝜎 2 𝑖 𝐷 * 𝑖 (𝜈)) - l o g 𝑒 2 𝜈 (𝑛 \sum 𝑖 = 1 𝐷' 𝑖 - 𝑛 \sum 𝑖 = 1 𝐷 * 𝑖 (𝜈))

となる．仮定より $\sum 𝑖 𝐷 * 𝑖 (𝜈) = 𝐷$ であり， $\sum 𝑖 𝐷' 𝑖 \leq 𝐷$ だから括弧の中は $0$ 以下である． $𝜈 > 0$ と $l o g 𝑒 > 0$ より係数 $l o g 𝑒 2 𝜈$ は正だから，右辺の最後の項は $0$ 以上であり，これを落とすと右辺は小さくなる．よって主張を得る． $◼$

形式化上の注記. 定理 9.4.11 に対応する宣言はない．形式化の IsWaterFillingOptimal (InformationTheory/Shannon/ParallelGaussian/Basic.lean) が述べているのは，通信路の側の注水配分 waterFillingPower (InformationTheory/Shannon/ParallelGaussian/Basic.lean) が $\sum 𝑖 12 l o g (1 + 𝑃 𝑖 / 𝑁 𝑖)$ を最大にすることであって，最適化の向きも配分の式も定理 9.4.11 と違う．無条件の機械検証済みの宣言 isWaterFillingOptimal_of_kkt (InformationTheory/Shannon/ParallelGaussian/KKT.lean) があるのはその最大化のほうで，第8章定理 8.6.5 がそれに紐付けてある．

証明で効いたのは，第8章定理 8.6.5 のときと同じ二つである．接線の傾きが $l o g 𝑒 2 𝜈$ という $𝑖$ によらない一つの値であること（補題 9.4.10）と，逆注水配分が歪みの予算をちょうど使い切っていること（ $\sum 𝑖 𝐷 * 𝑖 (𝜈) = 𝐷$ ）である．前者があるので， $𝑛$ 個ぶんの接線の項が $\sum 𝑖 𝐷' 𝑖$ という一つの和にまとまる．後者があるので，その和が歪みの制約と直接くらべられる．分散が水位を超えない情報源（ $𝜎 2 𝑖 \leq 𝜈$ ）で接線の傾きがそのままでは足りないところは，補題 9.4.10 の第 $2$ の場合が $l o g 𝑒 2 𝜎 2 𝑖 \geq l o g 𝑒 2 𝜈$ で吸収している．

定理 9.4.11 が言っているのはここまでで，合計レートという一つの式を歪み配分について最小にすると逆注水配分が最小を与える，ということである．合計レートの最小値が， $𝑛$ 個をまとめた情報源について何かを言うわけではない．第8章 8.6 節が合計容量について同じ断りを置いたのと，同じ事情である．

数で見る

例 9.4.12（ $2$ 個の並列ガウス情報源）. $𝑛 = 2$ ， $𝜎 21 = 1$ ， $𝜎 22 = 4$ とする．合計歪み $𝐷 = 1$ のとき水位は $𝜈 = 1 / 2$ で，逆注水配分は $(1 / 2, 1 / 2)$ ，その合計レートは $2$ ビットである．分散に比例させた配分 $(1 / 5, 4 / 5)$ の合計レートは約 $2.3219$ ビットで，これより大きい．合計歪み $𝐷 = 3$ のときは水位が $𝜈 = 2$ で，逆注水配分は $(1, 2)$ ，その合計レートは $1 / 2$ ビットであり，等分した配分 $(3 / 2, 3 / 2)$ の合計レートは約 $0.7075$ ビットである．

証明. $𝐷 = 1$ のとき．水位が第 $1$ の区画のふたの高さ $1$ に届かないと見当をつけると，どちらの区画にも水面までの水が入るので $𝜈 + 𝜈 = 1$ ，すなわち $𝜈 = 1 / 2$ である．これは $1$ 以下だから見当と整合する．実際 $m i n (1 / 2, 1) + m i n (1 / 2, 4) = 1 / 2 + 1 / 2 = 1$ で定理 9.4.9 の等式を満たし，それを満たす実数はただ一つだから，これが水位である．逆注水配分は $(1 / 2, 1 / 2)$ で，どちらの項も対数の中身が $1$ より大きく，対数は正だから， $m a x$ はその値を返す．合計レートは $12 l o g 2 2 + 12 l o g 2 8 = 0.5 + 1.5 = 2$ である．分散に比例させた配分では，二つの項の対数の中身がどちらも $5$ だから，合計レートは $l o g 2 5 = 2.3219 \dots$ である．

$𝐷 = 3$ のとき．今度は水位が $1$ を超えると見当をつけると，第 $1$ の区画はふたまで満たされるので $1 + 𝜈 = 3$ ，すなわち $𝜈 = 2$ である．これは $1$ より大きく $4$ 以下だから見当と整合する．実際 $m i n (2, 1) + m i n (2, 4) = 1 + 2 = 3$ で，これが水位である．逆注水配分は $(1, 2)$ で，第 $1$ 項は $12 l o g 2 1 = 0$ だから $m a x$ は $0$ を返し，第 $2$ 項は $12 l o g 2 2 = 1 / 2$ である．合計レートは $1 / 2$ である．等分した配分では，第 $1$ 項の対数の中身が $2 / 3$ で $1$ より小さく，その対数は負だから $m a x$ は $0$ を返す．第 $2$ 項は $12 l o g 2 83 = 12 \times 1.4150 \dots = 0.7075 \dots$ である． $◼$

形式化上の注記. 例 9.4.12 に対応する宣言は形式化されていない．

例 9.4.12 の前半は，どの情報源にも歪みを配る場合である．水位 $1 / 2$ がどちらのふたの高さにも届かないので，二つの区画に同じ深さの水が入る．配る歪みは同じでも，レートは分散の大きいほうに多く配られている（ $1.5$ ビット対 $0.5$ ビット）．後半では合計歪みが $3$ に増えて水位が $2$ まで上がり，ふたの高さが $1$ の区画は水で満たされる．そこにはレートを配らず，分散 $1$ のぶんの歪みをそのまま払う．第8章 8.6 節で雑音の強すぎる通信路に電力を配らなかったのと，裏返しの同じことが起きている．逆注水配分と，比べた配分との合計レートの差は，前半が約 $0.32$ ビット，後半が約 $0.21$ ビットである．

ここまでで，レート歪み関数の形が二つの具体例で決まった．9.3 節の二値の情報源では，歪みが $𝐷 m a x$ に届かない範囲で $𝐻 𝑏 (𝜋) - 𝐻 𝑏 (𝐷)$ であり（定理 9.3.4），本節のガウス情報源では，歪みが分散を超えない範囲で $12 l o g (𝜎 2 / 𝐷)$ である（系 9.4.5）．どちらもまだ最適化問題の値である．9.5 節は歪みを $𝐷$ 以下に抑える符号のレートが $𝑅 (𝐷)$ を下回れないことを示し，9.6 節は，期待歪みが $𝐷$ より小さい再現の作り方があるかぎり， $𝑅 (𝐷)$ より大きいレートをとれば，長さを十分大きくとって歪みを $𝐷$ 以下に抑える符号が作れることを，一つの主張を借りて確かめる．どちらも 9.1 節の約束どおり，有限アルファベットの情報源についての主張である．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．