8.5 帯域制限ガウス通信路

8.1 節から 8.4 節までのガウス通信路は，「 $1$ 回の使用」という単位が外から与えられていた．実際の通信では，その単位を決めるのは通信路のほうである．電話線でも無線でも，運べる信号は周波数の帯域が限られていて，帯域が狭ければ信号は速く動けず， $1$ 秒のあいだに送れる独立な値の個数もそれだけ限られる．本節はその個数を勘定し， $1$ 秒あたりに運べるビット数を求める．結果が Shannon–Hartley の公式である．

本節の $𝑊$ は帯域幅を表す実数で，第5章の倍加率 $𝑊 (𝑏, 𝑜, 𝑝)$ や第6章の通信路 $𝑊 (𝑦 ∣ 𝑥)$ とは別のものである．どれもこの分野の標準的な書き方なので，本節ではつねに帯域幅の意味で使う．

帯域という言葉の像を先に作っておく．信号を，周波数 $𝑊$ 以下の正弦波を重ね合わせたものだと思う．周波数 $𝑊$ の正弦波は $1$ 秒に $2 𝑊$ 回だけ $0$ を横切るので，それより速い成分をもたない信号も， $1$ 秒に $2 𝑊$ 回より細かくは動けない．動ける回数だけ独立な実数を載せられる，というのが本節の勘定である．雑音のほうも同じ絵で見る．各周波数の正弦波に独立なガウス分布に従う振幅が乗ったものが雑音で，その振幅の大きさを周波数の幅あたりで測ったのが，次に置く片側電力スペクトル密度である．

雑音の大きさは，8.1 節までの分散 $𝑁$ ではなく，片側電力スペクトル密度 $𝑁 0$ で与える．これは $1$ ヘルツの幅あたりに乗る雑音の電力で，帯域 $𝑊$ の中に入る雑音の電力が $𝑁 0 𝑊$ になる，という約束である．二つの言葉を断っておく．雑音が白色であるとは，その電力がどの周波数にも同じ密度で乗っていることをいう．どの帯域を切り出しても，切り出した幅に比例した電力がそこに入る，というのがこの語の内容で， $𝑁 0 𝑊$ という書き方はそれを使っている．片側とは，その密度を正の周波数の側だけで数える数え方を指す．周波数を正負の両側で数える流儀では同じ雑音が密度 $𝑁 0 / 2$ と書かれるが，帯域 $𝑊$ に入る電力はどちらの数え方でも $𝑁 0 𝑊$ である．本節はつねに片側で書く．

帯域制限と標本

本節が扱うのは， $𝑊$ ヘルツ以下の周波数成分だけからできている信号，すなわち 帯域 $𝑊$ に制限された信号 である．この言い方を精密にするには Fourier 変換が要り，本書はそれを前提にしない．そこで，帯域制限についての三つの事実を，名前を挙げて借りる．

三つに共通して現れる言葉を先に決めておく．信号のエネルギーとは，その電力に時間を掛けたものである．二つの信号の内積とは，それらの積を時間について積分したものをいい，信号のエネルギーは自分自身との内積にあたる．内積が $0$ である二つの信号を直交するといい，互いに直交してどれもエネルギーが $1$ である信号の組を正規直交という．

一つめは 標本化定理（Whittaker–Shannon の定理）で，帯域 $𝑊$ に制限された信号は，間隔 $1 / (2 𝑊)$ でとった標本の値の列から一意に定まる，という事実である． $1$ 秒あたり $2 𝑊$ 個の実数がその信号を決める，ということになる．二つめは 自由度の数え上げ（Landau–Pollak–Slepian の定理）で，長さ $𝑇$ の時間窓の中でエネルギーのほとんどを保てる互いに正規直交な向きの本数を $𝑇$ で割ると， $𝑇$ を大きくするにつれて $2 𝑊$ に近づく，という事実である．三つめは 白色ガウス雑音の展開（Karhunen–Loève 展開）で，片側電力スペクトル密度 $𝑁 0$ の白色ガウス雑音を互いに正規直交な向きに分解すると，各向きに乗る成分は互いに独立で，平均 $0$ ，分散 $𝑁 0 / 2$ のガウス分布に従う，という事実である．当てる対象は，一つめが帯域 $𝑊$ に制限された実数値の信号，二つめが帯域 $𝑊$ に制限された信号のうちエネルギーの大半が長さ $𝑇$ の窓に集中しているもの，三つめが二つめの数え上げが与える向きである．一つめが数える標本と二つめが数える向きが同じものを別の側から数えていること，すなわち窓の中の正規直交な向き $1$ 本が標本 $1$ 個にあたることも，あわせて借りる．三つとも，依存するのは定義 8.5.1 の設定を正当化するところだけである．

形式化上の注記（借りた三つについて）. 本書はこの三つを証明しないが，三つが三つとも形式化の外にあるわけではない．標本化定理は whittaker_shannon_bandlimited (InformationTheory/Shannon/WhittakerShannon.lean) が与える．ただしこちらは帯域を $1 / 2$ に正規化した形で，信号が連続であることと，信号とその Fourier 変換が可積分であることを仮定にもつので，借りた形をそのまま証明する宣言ではない（仮定をもたない核は whittaker_shannon_hasSum (InformationTheory/Shannon/WhittakerShannon.lean) で，こちらは $2$ 乗可積分なスペクトルから作った信号について，整数の時刻でとった標本からの同じ復元を与える）．自由度の数え上げは，prolateCount_le と le_prolateCount (InformationTheory/Shannon/TimeBandLimiting/Count.lean) の二つが，窓の中で集中の度合いがある閾値を超える向きの本数を，閾値ごとに $2 𝑊 𝑇$ の上下から無条件に挟む形で与える．そこから prolateCount_div_tendsto (InformationTheory/Shannon/ShannonHartley/Main.lean) が，閾値を $0$ と $1$ のあいだに一つ固定するごとに，向きの本数を $𝑇$ で割った値が $2 𝑊$ に収束することを与える．借りた形には閾値が現れないので，この宣言が量化しているのは本文より狭い対象であり，紐付け先にはとらない．三つめは，形式化の側でも定理ではない．ContAwgnCode.errorProbAt (InformationTheory/Shannon/ShannonHartley/Operational.lean) が，直交する関数との相関に独立な分散 $𝑁 0 / 2$ のガウス雑音が乗ることを定義として置いており，本文が借りたのと同じ一歩を，あちらはモデルの定義として踏んでいる．

一つめと二つめの両方が要るのは，答えるべき問いが二つあるからである．標本化定理は時間軸の全体にわたる信号についての言明で， $1$ 秒あたり $2 𝑊$ 個という数え方を与える．しかし通信で使えるのは長さ $𝑇$ の窓の中だけで，窓で切った信号はもう帯域 $𝑊$ に制限されていない（信号を時刻で切り落とすと，切り口の急な変化を作るのに高い周波数の成分が要るからである）から，窓の中に何本ぶんの自由が残るかは標本化定理だけでは決まらない．二つめは，窓を切ってもなお $1$ 秒あたり $2 𝑊$ 本という数が生き残ることを言うものである．

二つめと三つめの数が合うことを見ておく．帯域 $𝑊$ の中に入る雑音の電力は $𝑁 0 𝑊$ だから，長さ $𝑇$ の窓に入る雑音のエネルギーは $𝑁 0 𝑊 𝑇$ である．二つめが数える向きは窓の中におよそ $2 𝑊 𝑇$ 本あるので， $1$ 本あたりのエネルギーはおよそ $𝑁 0 𝑊 𝑇 / (2 𝑊 𝑇) = 𝑁 0 / 2$ で，三つめが与える分散に一致する．同じ勘定を信号の側にも当てる．電力 $𝑃$ の信号が窓に置くエネルギーは $𝑃 𝑇$ だから， $1$ 本あたりのエネルギーは $𝑃 / (2 𝑊)$ である．8.1 節は $1$ 回の使用あたりの $𝔼 [𝑋 2]$ を電力と呼んでいるので，向き $1$ 本ぶんを $1$ 回の使用と読めば，この値がそのまま $1$ 本あたりに使える電力になる．一つめが数える標本と二つめが数える向きも，同じものを別の側から数えている．窓の中の正規直交な向き $1$ 本が標本 $1$ 個にあたる，というのが借りた事実に含めた同一視で，定義 8.5.1 はこれを使う．

定義 8.5.1（帯域制限ガウス通信路）. $𝑊 > 0$ ， $𝑁 0 > 0$ ， $𝑃 > 0$ とする．帯域 $𝑊$ に制限され，片側電力スペクトル密度 $𝑁 0$ の白色ガウス雑音が乗り，信号の電力が $𝑃$ 以下に抑えられた通信路を，借りた標本化定理と自由度の数え上げと白色ガウス雑音の展開により，雑音の分散が $𝑁 0 / 2$ であるガウス通信路（定義 8.1.1）を $1$ 秒あたり $2 𝑊$ 回使い， $1$ 回あたりの電力を $𝑃 / (2 𝑊)$ に抑えたものとみなす．これを 帯域制限ガウス通信路 と呼び，その $1$ 回の使用，すなわち正規直交な向き $1$ 本ぶんの使用を標本と呼ぶ．標本の個数は $1$ 秒あたり $2 𝑊$ 個で，標本化定理が数える標本の個数と同じである．

形式化上の注記. 形式化の側は，標本の個数を外から与えない形の定義ももっている．ContAwgnCode (InformationTheory/Shannon/ShannonHartley/Operational.lean) は，長さ $𝑇$ の窓のあいだに帯域 $𝑊$ に制限された信号を送り，受け手は窓の外では $0$ になる有限個の直交する関数との相関だけを見る，という符号で，見る本数は自由なパラメータであって $2 𝑊$ に固定されていない．contAwgnOperationalCapacity はそこから作った $1$ 秒あたりの容量である．定義 8.5.1 は $2 𝑊$ という個数を借りた事実から先に決めてしまっているので，二つは別の対象である．

Shannon–Hartley の公式

命題 8.5.2（ $1$ 標本あたりの容量）. $𝑊 > 0$ ， $𝑁 0 > 0$ ， $𝑃 > 0$ とする．定義 8.5.1 の帯域制限ガウス通信路の $1$ 標本あたりの容量は

12 l o g (1 + 𝑃 𝑁 0 𝑊)

である．

証明. 定義 8.5.1 より， $1$ 標本は雑音の分散 $𝑁 : = 𝑁 0 / 2$ ，電力制約 $𝑃 / (2 𝑊)$ のガウス通信路の $1$ 回の使用である． $𝑊 > 0$ と $𝑁 0 > 0$ より $𝑁 > 0$ かつ $𝑃 / (2 𝑊) > 0$ だから，定理 8.2.4 を当てて， $1$ 標本あたりの容量は

12 l o g (1 + 𝑃 / (2 𝑊) 𝑁 0 / 2)

である．括弧の中の分数は $𝑃 2 𝑊 \cdot 2 𝑁 0 = 𝑃 𝑁 0 𝑊$ に等しい． $◼$

形式化上の注記. 形式化には $1$ 標本あたりの容量を表す perSampleAwgnCapacity (InformationTheory/Shannon/ShannonHartley/Basic.lean) があるが，これは命題 8.5.2 の右辺をそのまま定義として置いたもので，それがガウス通信路の容量に等しいことを述べる宣言ではない．いっぽう，定義 8.2.1 より広い範囲の上限として定めた容量が閉じた式に等しいことを述べる awgn_capacity_closed_form_genuine (InformationTheory/Shannon/AWGN/CapacityConverseMaxent.lean) を，電力 $𝑃 / (2 𝑊)$ ，雑音の分散 $𝑁 0 / 2$ に当てると，その値は $12 l o g (1 + 𝑃 𝑁 0 𝑊)$ になる．perSampleAwgnCapacity の値と一致するが，一致そのものを述べる宣言はなく，二つを結ぶには命題 8.5.2 の証明と同じ計算を宣言の外でやることになる．命題 8.5.2 の内容にあたる単独の宣言はない．

$1$ 秒あたりに直すには，標本の個数を掛ければよい．掛け算は単位の換算である．レート $𝑅$ のほうは 8.3 節・8.4 節のとおり多くの標本にわたる符号化で得た量であり， $2 𝑊$ 倍することで新しい主張が足されるわけではない．Shannon–Hartley の公式の重みは，掛け算のほうではなく，その換算を用意した定義 8.5.1 の側にある． $1$ 秒が $2 𝑊$ 個の標本にあたるという一行に，本節が借りた三つの事実がすべて入っている．

命題 8.5.3（Shannon–Hartley の公式）. $𝑊 > 0$ ， $𝑁 0 > 0$ ， $𝑃 > 0$ とする．定義 8.5.1 の帯域制限ガウス通信路が $1$ 秒あたりに達成できるレート，すなわち標本あたりの達成レート $𝑅 \in R (𝑃 2 𝑊, 𝑁 0 2)$ （定義 8.3.2）に $1$ 秒あたりの標本の個数 $2 𝑊$ を掛けた値 $2 𝑊 𝑅$ の全体は空でなく，その上限は

𝑊 l o g (1 + 𝑃 𝑁 0 𝑊)

である．

証明. 定義 8.5.1 より，この通信路の $1$ 標本は雑音の分散 $𝑁 0 / 2$ ，電力制約 $𝑃 / (2 𝑊)$ のガウス通信路の $1$ 回の使用である． $𝑊 > 0$ と $𝑁 0 > 0$ と $𝑃 > 0$ より $𝑁 0 / 2 > 0$ かつ $𝑃 / (2 𝑊) > 0$ だから，系 8.4.2 をこの二つに当てると $R (𝑃 2 𝑊, 𝑁 0 2)$ は空でなく，その上限は $12 l o g (1 + 𝑃 𝑁 0 𝑊)$ である（右辺が命題 8.5.2 の計算で得た値である）．集合の各元を正の定数 $2 𝑊$ 倍すれば上限も $2 𝑊$ 倍になるから，求める上限は

2 𝑊 \cdot 12 l o g (1 + 𝑃 𝑁 0 𝑊) = 𝑊 l o g (1 + 𝑃 𝑁 0 𝑊)

である． $◼$

形式化上の注記. 形式化には， $1$ 標本あたりの容量に $2 𝑊$ を掛けた値が $𝑊 l o g (1 + 𝑃 𝑁 0 𝑊)$ に等しいことを述べる twoW_perSample_eq_shannonHartley (InformationTheory/Shannon/ShannonHartley/Basic.lean) がある．こちらは掛け算そのものについての等式で，命題 8.5.3 のように達成レートの上限を述べたものではないので，紐付け先にはとらない．

命題 8.5.3 が与えた $𝑊 l o g (1 + 𝑃 𝑁 0 𝑊)$ が Shannon–Hartley の公式で，帯域幅・信号電力・雑音の強さという三つの物理量だけで通信の限界が決まっている．

形式化上の注記. 定義 8.5.1 が $2 𝑊$ という標本の個数を借りた標本化定理と自由度の数え上げから決めているのに対し，形式化の側はその個数を外から与えずに同じ結論に達している．窓の中で見る直交する関数の本数を自由なパラメータにした符号 ContAwgnCode (InformationTheory/Shannon/ShannonHartley/Operational.lean) から作った $1$ 秒あたりの容量 contAwgnOperationalCapacity について，contAwgn_eq_shannonHartley (InformationTheory/Shannon/ShannonHartley/ConverseFinal.lean) が， $𝑊 > 0$ ， $𝑁 0 > 0$ ， $𝑃 \geq 0$ のもとでその値が $𝑊 l o g (1 + 𝑃 𝑁 0 𝑊)$ に等しいことを無条件に与える．本書はこの形の主張を述べない．述べるには帯域制限を Fourier 変換で書き，時間窓の中の自由度の数え上げを主張の中に取り込むことになり，借りた自由度の数え上げがそのまま本文の証明対象になるからである．

帯域と電力のどちらを増やすか. 公式の $𝑊$ は，括弧の外では掛け算で，括弧の中では割り算で効いている．帯域を $2$ 倍にすると標本の個数は $2$ 倍になるが，同じ電力を $2$ 倍の標本に配ることになるので， $1$ 標本あたりの信号対雑音比は半分になる．前者は線形に効き，後者は対数の中で効く．例 8.5.5 と例 8.5.6 は，帯域を広げるほうが効く場合と効かない場合の両端になっている．いっぽう電力 $𝑃$ は括弧の中にしか現れないので，増やしても対数でしか効かない．帯域を広げることにも限りがあり，その限りを与えるのが命題 8.5.4 である．

命題 8.5.4（帯域を広げた極限）. $𝑁 0 > 0$ ， $𝑃 > 0$ とする． $𝑊 \to \infty$ のとき

𝑊 l o g (1 + 𝑃 𝑁 0 𝑊) ⟶ 𝑃 𝑁 0 l o g 𝑒

である．

証明. $𝑢 : = 𝑃 / (𝑁 0 𝑊) > 0$ とおく．補題 1.1.7 の対数不等式 $l o g 𝑡 \leq (𝑡 - 1) l o g 𝑒$ を $𝑡 = 1 + 𝑢$ に当てると $l o g (1 + 𝑢) \leq 𝑢 l o g 𝑒$ である．同じ不等式を $𝑡 = 1 / (1 + 𝑢)$ に当てると

- l o g (1 + 𝑢) \leq (1 1 + 𝑢 - 1) l o g 𝑒 = - 𝑢 1 + 𝑢 l o g 𝑒

だから $l o g (1 + 𝑢) \geq 𝑢 1 + 𝑢 l o g 𝑒$ である． $𝑊 𝑢 = 𝑃 / 𝑁 0$ だから，二つを合わせて

𝑃 𝑁 0 \cdot 1 1 + 𝑢 l o g 𝑒 \leq 𝑊 l o g (1 + 𝑃 𝑁 0 𝑊) \leq 𝑃 𝑁 0 l o g 𝑒

を得る． $𝑊 \to \infty$ のとき $𝑢 \to 0$ だから左辺は $𝑃 𝑁 0 l o g 𝑒$ に収束し，はさみうちにより主張が従う． $◼$

形式化上の注記. 命題 8.5.4 に対応する宣言は形式化されていない．命題 8.5.4 に付した証明が，この主張の保証のすべてである．

帯域をいくら広げても $1$ 秒あたりに運べる量は $𝑃 𝑁 0 l o g 𝑒$ で頭打ちになる，というのが命題 8.5.4 の内容である．広げた帯域には雑音も入ってくるので， $1$ 標本あたりの信号対雑音比が下がっていき，標本の個数が増えるぶんと釣り合ってしまう．底を $2$ にとると $l o g 2 𝑒 = 1.4427 \dots$ で，上限は $𝑃 / 𝑁 0$ のおよそ $1.4427$ 倍のビット毎秒である．

一つめの例は電話級の回線である．音声の周波数成分がおよそ $300$ から $3400$ ヘルツの範囲にあり，電話の回線はその範囲を運べればよいので，帯域を $3000$ ヘルツにとる．信号対雑音比 $1000$ のほうは，比を常用対数で測って $10$ 倍する目盛り（デシベル）で書けば $30$ デシベルにあたる．

例 8.5.5（電話級の回線）. $𝑊 = 3000$ ヘルツ， $𝑃 / (𝑁 0 𝑊) = 1000$ とする．このとき $1$ 標本あたりの容量は約 $4.98$ ビット， $1$ 秒あたりに達成できるレートの上限は $3000 l o g 2 1001$ で，約 $29902$ ビット毎秒である．同じ $𝑃 / 𝑁 0$ のまま帯域をいくらでも広げたときの上限（命題 8.5.4）は約 $4.328 \times 106$ ビット毎秒で，前者はその $1$ パーセントに満たない．

証明. 命題 8.5.2 より $1$ 標本あたりの容量は $12 l o g 2 1001$ である． $l o g 2 1001 = 9.9672 \dots$ だから約 $4.98$ である．命題 8.5.3 より $1$ 秒あたりの上限はこれに標本の個数 $2 𝑊 = 6000$ を掛けた $3000 l o g 2 1001$ で，約 $29902$ である．

帯域を広げた極限を計算する． $𝑃 / (𝑁 0 𝑊) = 1000$ と $𝑊 = 3000$ から $𝑃 / 𝑁 0 = 3 \times 106$ である．命題 8.5.4 の右辺は $3 \times 106 \times l o g 2 𝑒$ で， $l o g 2 𝑒 = 1.4427 \dots$ だから約 $4.328 \times 106$ である．二つの比は $29902 / (4.328 \times 106) = 0.0069 \dots$ である． $◼$

形式化上の注記. 例 8.5.5 に対応する宣言は形式化されていない．例に付した証明が，この主張の保証のすべてである．

もう一つの例は帯域の広い回線である．帯域 $107$ ヘルツは無線通信で使われる帯域の規模で，こちらは電話級の回線とは逆に，信号対雑音比のほうが小さい．

例 8.5.6（帯域の広い回線）. $𝑊 = 107$ ヘルツ， $𝑃 / (𝑁 0 𝑊) = 1 / 100$ とする．このとき $1$ 標本あたりの容量は約 $0.0072$ ビットで $1$ ビットにはるかに満たないが， $1$ 秒あたりに達成できるレートの上限は $107 l o g 2 1.01$ で，約 $1.436 \times 105$ ビット毎秒である．同じ $𝑃 / 𝑁 0$ のまま帯域をいくらでも広げたときの上限（命題 8.5.4）は約 $1.443 \times 105$ ビット毎秒で，前者はすでにその $99$ パーセントを超えている．

証明. 命題 8.5.2 より $1$ 標本あたりの容量は $12 l o g 2 1.01$ である． $l o g 2 1.01 = 0.014355 \dots$ だから約 $0.0072$ である．命題 8.5.3 より $1$ 秒あたりの上限はこれに標本の個数 $2 𝑊 = 2 \times 107$ を掛けた $107 l o g 2 1.01$ で，約 $1.436 \times 105$ である．

帯域を広げた極限を計算する． $𝑃 / (𝑁 0 𝑊) = 1 / 100$ と $𝑊 = 107$ から $𝑃 / 𝑁 0 = 105$ である．命題 8.5.4 の右辺は $105 \times l o g 2 𝑒$ で約 $1.443 \times 105$ である．二つの比は $0.9950 \dots$ である． $◼$

形式化上の注記. 例 8.5.6 に対応する宣言は形式化されていない．例に付した証明が，この主張の保証のすべてである．

二つの例は，同じ公式の両端を見せている．電話級の回線は， $1$ 標本に約 $5$ ビットも積める代わりに，標本が $1$ 秒に $6000$ 個しかない．帯域の制限を外していけば，同じ電力と同じ雑音の強さのまま上限が $140$ 倍を超えるところまで伸びるので，この回線を縛っているのは帯域のほうである．帯域の広い回線は逆で， $1$ 標本には $0.01$ ビットも積めないが，標本が $1$ 秒に $2 \times 107$ 個ある．こちらはすでに帯域を広げた極限の $99$ パーセントを超えているから，帯域をさらに広げてもほとんど伸びず，伸ばしたければ $𝑃 / 𝑁 0$ を上げるほかない．同じ公式が，効いているのが標本の個数 $2 𝑊$ のほうか，比 $𝑃 / 𝑁 0$ のほうかで，別の顔を見せている．

$𝑃 / (𝑁 0 𝑊) = 1000$ という比の大きさも， $1$ 標本あたりのビット数に直すと見当がつく．約 $4.98$ ビットである．比を $1000$ 倍の $106$ に上げてようやく $1$ 標本あたりが約 $9.97$ ビットになり， $1$ 秒あたりの量がほぼ $2$ 倍の約 $59795$ ビット毎秒に届く．括弧の中で対数が受け止めるので，比を大きくして稼げる量はこれだけ緩い．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．