16.6 行列式の不等式

本節の対象は確率変数ではなく， $𝑛$ 次の実対称正定値行列である．実対称行列 $Σ$ が 正定値 であるとは， $0$ でないどの実ベクトル $𝑥$ についても $𝑥 𝖳 Σ 𝑥 > 0$ となることをいう．正定値行列 $Σ$ の行列式は正で（下で借りるスペクトル分解による），その $1 / 𝑛$ 乗は行列の大きさを $1$ 座標あたりに直した量にあたる．実際， $𝛼 > 0$ に対し単位行列の $𝛼$ 倍では $d e t (𝛼 𝐼) = 𝛼 𝑛$ だから， $1 / 𝑛$ 乗はちょうど $𝛼$ になる．本節が示すのは，二つの正定値行列を足すとこの量が足し算以上になる，という不等式である．

$1 / 𝑛$ 乗をとってから足し算と比べるのには理由がある． $d e t$ そのものは，行列を $𝛼$ 倍すると $𝛼 𝑛$ 倍になる量である． $1 / 𝑛$ 乗はこれを， $𝛼$ 倍でちょうど $𝛼$ 倍になる量に直す．足し算も $𝛼$ 倍で $𝛼$ 倍になるので，足し算と同じ倍率で動くのは $1 / 𝑛$ 乗のほうであり，二つを並べて大小を問う相手になるのもこちらである．

比べる相手は前節で扱ったものでもある． $Σ$ が対角行列で対角成分 $𝑎 1, \dots, 𝑎 𝑛$ がすべて正なら， $Σ$ は正定値で， $(d e t Σ) 1 / 𝑛$ は $(\prod 𝑛 𝑖 = 1 𝑎 𝑖) 1 / 𝑛$ ，すなわち補題 16.5.5 の左辺にほかならない．対角成分 $𝑏 1, \dots, 𝑏 𝑛$ がすべて正である対角行列を足す場合に本節の不等式が言うのは

(𝑛 \prod 𝑖 = 1 𝑎 𝑖) 1 / 𝑛 + (𝑛 \prod 𝑖 = 1 𝑏 𝑖) 1 / 𝑛 \leq (𝑛 \prod 𝑖 = 1 (𝑎 𝑖 + 𝑏 𝑖)) 1 / 𝑛

であり，積の $𝑛$ 乗根，すなわち相乗平均が足し算以上になるという主張である．対角でない正定値行列についても，同じことが行列式の $1 / 𝑛$ 乗について成り立つ，というのが本節の不等式である．

行列式がエントロピーとつながる筋は，ガウス分布を通すと見える． $𝑋 1, \dots, 𝑋 𝑛$ を独立な実数値確率変数とし，各 $𝑋 𝑖$ が分散 $𝑎 𝑖 > 0$ のガウス分布に従うとする．結合微分エントロピー（7.4 節）は，系 7.4.4 と定理 7.2.2 より各成分の値の和 $\sum 𝑛 𝑖 = 1 12 l o g (2 𝜋 𝑒 𝑎 𝑖)$ である．分散を対角に並べた行列を $Σ$ と書けば $𝑎 1 \dots 𝑎 𝑛 = d e t Σ$ だから，これを $𝑛$ で割って $1$ 座標あたりに直すと $12 l o g (2 𝜋 𝑒 (d e t Σ) 1 / 𝑛)$ になる． $1$ 座標あたりの不確かさを決めているのは，行列式そのものではなくその $1 / 𝑛$ 乗である．

示し方は，前節の補題 16.5.5 を行列の固有値に当てる直接の道をとる（Cover–Thomas は，共分散行列が $Σ 1$ ， $Σ 2$ であるガウスベクトルに $𝑛$ 次元のエントロピーべき不等式を当てて導くが，本書はその $𝑛$ 次元の形を述べない）．そのために，線形代数の事実を一つ借りる．

本節を皮切りに，本章は名前で借りて証明を載せない定理をいくつか置く．そのうち本章が新たに借りるものはどれも，証明を載せないだけで，無条件の機械検証済みの定理として形式化されているが，16.7 節の de Bruijn の恒等式と，16.8 節の独立な和の密度および Stam の不等式の三つだけは例外で，機械検証が本文の借用より狭いところまでしか及ばない．その範囲はそれぞれの場所に書く．

実対称行列のスペクトル分解を借りる． $𝑛$ 次の実対称行列は直交行列によって対角化でき，対角に並ぶ固有値はすべて実数である，という事実である．あわせて，行列式が固有値の積に等しいこと，行列式が積を積に写すこと，すなわち同じ大きさの二つの正方行列の積の行列式がそれぞれの行列式の積に等しいこと，および実対称行列が正定値であることと固有値がすべて正であることが同値であることも借りる．当てる相手は定理 16.6.1 の証明に現れる三つの行列，すなわち $Σ 1$ ， $Σ 2$ ，およびそこで作る $Σ 0 : = Σ - 1 / 2 1 Σ 2 Σ - 1 / 2 1$ である．依存するのは定理 16.6.1 の証明と，上で $d e t Σ$ が正であることを言った一箇所だけで，本書のほかの主張はこれを使わない．

借りた事実が返す固有値を，以下 $𝜆 1, \dots, 𝜆 𝑛$ と書く．この文字は既出の章がそれぞれ別の意味に使っているが，本節のものはそのどれとも別である．

定理 16.6.1（Minkowski の行列式不等式）. $𝑛 \geq 1$ とし， $Σ 1$ ， $Σ 2$ を $𝑛$ 次の実対称正定値行列とすると

(d e t Σ 1) 1 / 𝑛 + (d e t Σ 2) 1 / 𝑛 \leq (d e t (Σ 1 + Σ 2)) 1 / 𝑛

である．

証明. はじめに $Σ 1$ の平方根を作る．借りたスペクトル分解により $Σ 1$ は直交行列で対角化でき，正定値だから対角に並ぶ固有値はすべて正である．それぞれを正の平方根に取り替えて同じ直交行列で戻した行列は実対称で，固有値がすべて正だから正定値であり， $2$ 乗すると $Σ 1$ になる．これを $Σ 1 / 2 1$ と書き，その逆行列を $Σ - 1 / 2 1$ と書く．逆行列も同じ直交行列で対角化され，固有値は正の数の逆数だから，これも実対称正定値である．

$Σ 0 : = Σ - 1 / 2 1 Σ 2 Σ - 1 / 2 1$ とおく． $Σ - 1 / 2 1$ と $Σ 2$ が実対称だから $Σ 0$ も実対称であり， $𝑥 \neq 0$ に対し $Σ - 1 / 2 1$ が正則なので $Σ - 1 / 2 1 𝑥 \neq 0$ であって

𝑥 𝖳 Σ 0 𝑥 = (Σ - 1 / 2 1 𝑥) 𝖳 Σ 2 (Σ - 1 / 2 1 𝑥) > 0

だから $Σ 0$ は正定値である．借りたスペクトル分解により $Σ 0$ の固有値 $𝜆 1, \dots, 𝜆 𝑛$ はすべて正で， $Σ 0$ を対角化する直交行列は $𝐼 + Σ 0$ も対角化するから

d e t Σ 0 = 𝑛 \prod 𝑖 = 1 𝜆 𝑖, d e t (𝐼 + Σ 0) = 𝑛 \prod 𝑖 = 1 (1 + 𝜆 𝑖)

である． $Σ 2 = Σ 1 / 2 1 Σ 0 Σ 1 / 2 1$ と $Σ 1 + Σ 2 = Σ 1 / 2 1 (𝐼 + Σ 0) Σ 1 / 2 1$ に行列式の積の規則を当て， $d e t (Σ 1 / 2 1) 2 = d e t Σ 1$ を使うと

d e t Σ 2 = d e t Σ 1 \cdot d e t Σ 0, d e t (Σ 1 + Σ 2) = d e t Σ 1 \cdot d e t (𝐼 + Σ 0)

である． $d e t Σ 1 > 0$ だから，示すべき不等式の両辺を $(d e t Σ 1) 1 / 𝑛$ で割ると

1 + (𝑛 \prod 𝑖 = 1 𝜆 𝑖) 1 / 𝑛 \leq (𝑛 \prod 𝑖 = 1 (1 + 𝜆 𝑖)) 1 / 𝑛

と同値になる．

これを示す．補題 16.5.5 を $𝑡 𝑖 = 1 / (1 + 𝜆 𝑖)$ ととって当てたものと， $𝑡 𝑖 = 𝜆 𝑖 / (1 + 𝜆 𝑖)$ ととって当てたものを足すと

(𝑛 \prod 𝑖 = 1 1 1 + 𝜆 𝑖) 1 / 𝑛 + (𝑛 \prod 𝑖 = 1 𝜆 𝑖 1 + 𝜆 𝑖) 1 / 𝑛 \leq 1 𝑛 𝑛 \sum 𝑖 = 1 1 1 + 𝜆 𝑖 + 1 𝑛 𝑛 \sum 𝑖 = 1 𝜆 𝑖 1 + 𝜆 𝑖 = 1

である．最後の等号は， $𝑖$ ごとに二つの項を足すと $1$ になり，それを $𝑛$ 個足して $𝑛$ で割ることによる．両辺に正の数 $(\prod 𝑛 𝑖 = 1 (1 + 𝜆 𝑖)) 1 / 𝑛$ を掛けると，左辺の第 $1$ 項は $1$ に，第 $2$ 項は $(\prod 𝑛 𝑖 = 1 𝜆 𝑖) 1 / 𝑛$ になるから，示すべき不等式を得る． $◼$

形式化: minkowskiDeterminantInequality (ソース)

形式化上の注記. 宣言は行と列の添字を任意の有限型でとる．本文が $𝑛$ 次と書いているのは，その型の要素数が $𝑛$ である場合にあたる．形式化も $Σ 1$ の平方根を両側から掛けて $d e t (Σ 1 + Σ 2)$ を $d e t Σ 1$ と $d e t (𝐼 + Σ 0)$ の積に分けるが，その平方根の作り方が本文と違う．本文は借りたスペクトル分解で対角化してから対角の固有値を平方根に取り替えるのに対し，形式化は行列に関数を当てる一般の仕組み（連続汎関数計算）で平方根を直に取る．スペクトル分解が形式化の側で効くのは，行列式を固有値の積で書く段，すなわち $d e t Σ 0$ と $d e t (𝐼 + Σ 0)$ を $𝜆 𝑖$ の積に直すところである．締めは固有値についてのスカラーの不等式 geom_mean_superadditive (InformationTheory/Shannon/MinkowskiDet.lean) で，これは本文が補題 16.5.5 を二度当てて足すのと同じ計算を，重みつきの相加相乗平均から直に行うものである．一般に等号がいつ成り立つかを述べる宣言はなく，本文も定理 16.6.1 については述べない．

例 16.6.2. $𝑛 = 2$ とし， $Σ 1$ を単位行列， $Σ 2$ を対角成分が $𝑎 > 0$ ， $𝑏 > 0$ の対角行列とすると，定理 16.6.1 は

1 + \sqrt 𝑎 𝑏 \leq \sqrt (1 + 𝑎) (1 + 𝑏)

になる． $𝑎 = 4$ ， $𝑏 = 1$ では両辺が $3$ と $\sqrt 10 = 3.1622 \dots$ で狭義であり， $𝑎 = 𝑏 = 2$ では両辺とも $3$ で等号である．この形で等号になるのは $𝑎 = 𝑏$ のとき，すなわち $Σ 2$ が $Σ 1$ の定数倍のときに限る．

証明. $d e t Σ 1 = 1$ ， $d e t Σ 2 = 𝑎 𝑏$ であり， $Σ 1 + Σ 2$ は対角成分が $1 + 𝑎$ ， $1 + 𝑏$ の対角行列だから $d e t (Σ 1 + Σ 2) = (1 + 𝑎) (1 + 𝑏)$ である． $𝑛 = 2$ なので $1 / 𝑛$ 乗は平方根であり，定理 16.6.1 はこの形になる． $𝑎 = 4$ ， $𝑏 = 1$ では左辺が $1 + \sqrt 4 = 3$ ，右辺が $\sqrt 5 \cdot 2 = \sqrt 10$ である． $𝑎 = 𝑏 = 2$ では左辺が $1 + \sqrt 4 = 3$ ，右辺が $\sqrt 3 \cdot 3 = 3$ である．なお両辺とも正だから，16.5 節で既知とした $1 / 2$ 乗の単調性により，この不等式は両辺を $2$ 乗した $1 + 2 \sqrt 𝑎 𝑏 + 𝑎 𝑏 \leq 1 + 𝑎 + 𝑏 + 𝑎 𝑏$ ，すなわち $2 \sqrt 𝑎 𝑏 \leq 𝑎 + 𝑏$ と同値で，これは $𝑛 = 2$ の補題 16.5.5 にほかならない．最後の不等式は $(\sqrt 𝑎 - \sqrt 𝑏) 2 \geq 0$ を移項したものだから，等号になるのは $\sqrt 𝑎 = \sqrt 𝑏$ のとき，すなわち $𝑎 = 𝑏$ のときに限る．そのとき $Σ 2 = 𝑎 Σ 1$ である． $◼$

同時に対角化してしまうと読む. 例 16.6.2 で見たとおり， $𝑛 = 2$ で片方を単位行列にとると定理 16.6.1 は $2$ 点の相加相乗平均と同値になる．一般の場合の証明がやっているのも同じことで， $Σ - 1 / 2 1$ を両側から掛けて片方を単位行列に直し，残った $Σ 0$ をスペクトル分解で対角に直してしまえば，残るのは固有値についてのスカラーの不等式である．行列がそのままでは対角でないぶんの手間は，スペクトル分解の借用がすべて引き受けている．借りたスペクトル分解を別にすれば，本節が使う解析的な事実は，補題 16.5.5 の証明が補題 1.1.9 を $l o g$ に当てる一箇所だけである．残りは行列式と固有値の計算である．

本節で不等号を作った仕掛けは，前の五節のものとは別である．そちらは，いくつもの変数を部分集合で覆っておいて，どの番号が何回覆われたかを数えるところから不等号を出した．この数え上げが働くには動かす部分集合が要る．本節の対象である正定値行列にはそれがなく，かわりに，二つを足したときのふるまいを問うところから不等号が出た．次節から扱う実軸に値をとる確率変数 $1$ 個ないし $2$ 個にも動かす部分集合はないので，定義 16.1.1 の $𝐻 (𝑋 𝑆)$ はここから先に現れない．次節はまず，足したときのふるまいを問える量を実軸の側で定める．16.8 節で借りる不等式は，その量について本節と同じ形をしている．

InformationTheory — 形式化検証つき情報理論教科書（レビュー版）．数式は MathJax + AMS Euler で事前レンダリング．