16.5 超立方体の辺等周
面積を決めておいて周の長さをいちばん短くする図形は何か,と問うのが等周問題である.同じ問いを超立方体の頂点の上で立てるのが本節である.{0,1}𝑛の二つの点は,ちょうど1座標だけ違うときに辺で結ばれているとみる.頂点の集合𝐴を選ぶと,端点の一方だけが𝐴に入っている辺が決まり,その本数が𝐴の周にあたる.要素数を決めておいて,この本数がどこまで小さくなりうるかを問う.本節は下からの評価を二つ与えて二つを比べ,要素数が2のべきであるときには最小値を決める.以下X ={0,1}に固定し,{0,1}𝑛の元はビットの列として書く.
定義 16.5.1(辺境界). 𝑛 ≥0とし,𝐴 ⊆{0,1}𝑛とする.𝑥 ∈{0,1}𝑛と𝑖 ∈{1,…,𝑛}に対し,𝑥の第𝑖座標だけを反転して他の座標を変えない点を𝑥(𝑖)と書く.𝑥 ∈𝐴かつ𝑥(𝑖) ∉𝐴を満たす対(𝑥,𝑖)の全体を𝜕e𝐴と書き,𝐴の 辺境界 と呼ぶ.
𝜕eは辺境界を表す記号であって,第10章 10.4 節 の偏微分とは別である(偏微分はつねに分数の形で関数に当たり,こちらはつねに添字eを伴って集合に当たる).対(𝑥,𝑖)と,端点の一方だけが𝐴に入る辺とは一対一に対応する.そのような辺について,𝐴に入っているほうの端点を𝑥,二つの端点が食い違う座標の番号を𝑖とすればよい.だから|𝜕e𝐴|は「𝐴から外へ出ていく辺の本数」である.
命題 16.5.2. 𝑛 ≥0とし,𝐴 ⊆{0,1}𝑛とする.𝑥 ∈𝐴と𝑖 ∈{1,…,𝑛}の対(𝑥,𝑖)のうち𝑥(𝑖) ∈𝐴を満たすものの個数と|𝜕e𝐴|との和は𝑛|𝐴|に等しい.
証明. 𝑥 ∈𝐴と𝑖 ∈{1,…,𝑛}の対は,𝑥の選び方が|𝐴|通り,𝑖の選び方が𝑛通りで,全部で𝑛|𝐴|個ある.その各々について𝑥(𝑖)は𝐴に入るか入らないかのどちらか一方だから,全体は𝑥(𝑖) ∈𝐴を満たす対と𝑥(𝑖) ∉𝐴を満たす対とに分かれる.後者の個数は 定義 16.5.1 より|𝜕e𝐴|である.◼
以下,本節の主張ブロックではlogの底を2にとる.立方体の次元𝑛とlog2|𝐴|を同じ物差しで比べるためである.
定理 16.5.3(辺等周不等式). 𝑛 ≥0とし,𝐴 ⊆{0,1}𝑛を空でない集合とすると
|𝐴|(𝑛−log2|𝐴|)≤|𝜕e𝐴|である.
証明. 𝑛 =0のときは{0,1}0の元がただ一つで𝐴はその一点だから,|𝐴| =1とlog2|𝐴| =0より左辺は0であり,対(𝑥,𝑖)をとる𝑖がないので右辺も0である.以下𝑛 ≥1とする.
𝐴の上の一様分布に従う確率変数𝑋をとり,𝑋𝑖を𝑋の第𝑖座標とする.𝑋1,…,𝑋𝑛は 定義 16.1.1 の設定を満たす族である.𝑋{1,…,𝑛}は𝑋そのもので,とりうる値は𝐴の元だから,そのアルファベットを𝐴にとって 例 1.1.3 を𝑀 =|𝐴|で当てると𝐻(𝑋{1,…,𝑛}) =log2|𝐴|である.
まず上から押さえる.定理 16.1.4 を𝑆 ={1,…,𝑛}に当てると∑𝑛𝑖=1𝐻(𝑋𝑖 ∣𝑋{1,…,𝑖−1}) =log2|𝐴|である.{1,…,𝑖 −1}は{1,…,𝑛} ∖{𝑖}に含まれるから,補題 16.1.2 に注意して 定理 1.2.4 を当てると,各𝑖について𝐻(𝑋𝑖 ∣𝑋{1,…,𝑛}∖{𝑖}) ≤𝐻(𝑋𝑖 ∣𝑋{1,…,𝑖−1})である.足し合わせると
𝑛∑𝑖=1𝐻(𝑋𝑖∣𝑋{1,…,𝑛}∖{𝑖})≤log2|𝐴|である.
次に左辺を数え直す.番号𝑖を固定し,𝑋{1,…,𝑛}∖{𝑖}のとる値𝑦を一つとる.𝐴の元で第𝑖座標以外が𝑦に一致するものは1個か2個で,2個ならその二つは互いに第𝑖座標を反転した関係にある.𝑦のもとでの条件付きエントロピーを,この二つの場合に分けて見る.
- 2個のとき.𝑋は𝐴の上で一様だから,𝑦のもとでの𝑋𝑖の条件付き分布は{0,1}の上の一様分布である.例 1.1.3 を𝑀 =2で当てて𝐻(𝑋𝑖 ∣𝑋{1,…,𝑛}∖{𝑖} =𝑦) =1であり,この𝑦の確率は2/|𝐴|である.
- 1個のとき.条件付き分布は一点に集中するから,定義 1.1.1 の和は−1log21の一項だけになり,値は0である.
定義 1.2.2 は各𝑦のもとでの値をその確率で平均したものだから,寄与するのは2個の場合の𝑦だけで,その寄与は𝑦ひとつにつき2/|𝐴|である.そのような𝑦ひとつには𝐴の元が2個対応し,それらはちょうど,第𝑖座標を反転しても𝐴に留まる𝐴の元だから,そのような𝑦の個数を2倍したものが,そのような元の個数に等しい.したがって
𝐻(𝑋𝑖∣𝑋{1,…,𝑛}∖{𝑖})=|{𝑥∈𝐴:𝑥(𝑖)∈𝐴}||𝐴|である.𝑖について足すと,分子の和は𝑥(𝑖) ∈𝐴を満たす対(𝑥,𝑖)の個数だから,命題 16.5.2 よりそれは𝑛|𝐴| −|𝜕e𝐴|である.前段の不等式と合わせて
𝑛|𝐴|−|𝜕e𝐴||𝐴|≤log2|𝐴|を得る.|𝐴| >0を両辺に掛けて整理すれば主張である.◼
例 16.5.4(部分立方体). 𝑛 ≥0,0 ≤𝑘 ≤𝑛とする.𝐹 ⊆{1,…,𝑛}を要素数𝑛 −𝑘の座標の集合,𝑐を𝐹から{0,1}への関数とし,
𝐴:={𝑥∈{0,1}𝑛:𝑥𝑖=𝑐(𝑖) (𝑖∈𝐹)}とおく.このとき|𝐴| =2𝑘かつ|𝜕e𝐴| =2𝑘(𝑛 −𝑘)であり,定理 16.5.3 は等号で成り立つ.
証明. 𝐴の元は𝐹の外の𝑘個の座標を自由に選んで得られるから|𝐴| =2𝑘である.𝑥 ∈𝐴と座標𝑖をとる.𝑖 ∉𝐹ならば𝑥(𝑖)も𝐹の上で𝑐に一致するので𝐴に属し,𝑖 ∈𝐹ならば𝑥(𝑖)の第𝑖座標は𝑐(𝑖)と違うので𝐴に属さない.したがって外に出る対は𝑖 ∈𝐹のものに限り,その個数は|𝐴| |𝐹| =2𝑘(𝑛 −𝑘)である.一方log22𝑘 =𝑘だから 定理 16.5.3 の左辺は2𝑘(𝑛 −𝑘)であり,両辺が一致する.◼
これで,節の冒頭の問いのうち要素数が2のべきである場合には答えが出る.節の終わりに 系 16.5.9 としてまとめる.要素数が2のべきでないときの最小値を,本書は与えない.
下界をもう一つ作っておく.前節の 定理 16.4.2 は,集合の要素数を射影の要素数で上から押さえる不等式だった.辺境界も射影の要素数で書けるので(命題 16.5.6),同じ不等式をこの節に持ち込める.そうして出る下界を 定理 16.5.3 と比べれば,二つの道の差が数で見える.持ち込むには,𝑛個の非負の数の積の𝑛乗根が相加平均を超えないという古典的な不等式が要る.本書はこれを 補題 1.1.9 から証明するので,借用ではない.
補題 16.5.5(相加相乗平均の不等式). 𝑛 ≥1とし,𝑡1,…,𝑡𝑛を非負の実数とすると
(𝑛∏𝑖=1𝑡𝑖)1/𝑛≤1𝑛𝑛∑𝑖=1𝑡𝑖である.
証明. どれかの𝑡𝑖が0ならば左辺は0であり,右辺は非負だから成り立つ.以下すべての𝑡𝑖が正であるとする.補題 1.1.6 のとおりlogは(0,∞)の上で狭義凹だから,補題 1.1.9 を,重み𝑤𝑖 =1/𝑛,点𝑡𝑖ととって当てると
1𝑛𝑛∑𝑖=1log𝑡𝑖≤log(1𝑛𝑛∑𝑖=1𝑡𝑖)である.左辺はlog(∏𝑛𝑖=1𝑡𝑖)1/𝑛に等しい.logが狭義単調だから主張を得る.◻
命題 16.5.6. 𝑛 ≥0とし,𝐴 ⊆{0,1}𝑛とすると
|𝜕e𝐴|+𝑛|𝐴|=2𝑛∑𝑖=1|𝜋−𝑖(𝐴)|である(𝜋−𝑖(𝐴)は 定義 16.4.1 の射影である).
証明. 番号𝑖を固定する.𝑦 ∈𝜋−𝑖(𝐴)に対し,𝐴の元で第𝑖座標以外が𝑦に一致するものは1個か2個である.1個であるような𝑦の個数を𝑎𝑖,2個であるような𝑦の個数を𝑏𝑖と書くと,𝜋−𝑖(𝐴)の元はこの二種類に分かれるから|𝜋−𝑖(𝐴)| =𝑎𝑖 +𝑏𝑖であり,𝐴の元をこの分け方で数えて|𝐴| =𝑎𝑖 +2𝑏𝑖である.また𝑥 ∈𝐴の第𝑖座標以外を切り詰めたものを𝑦と書くと,𝑥(𝑖) ∉𝐴であることと𝑦が1個のほうであることとは同じことだから,第𝑖座標の向きに外へ出る対の個数は𝑎𝑖である.よって
𝑎𝑖+|𝐴|=𝑎𝑖+(𝑎𝑖+2𝑏𝑖)=2|𝜋−𝑖(𝐴)|である.𝑖について足すと,左辺の第1項の和は|𝜕e𝐴|,第2項の和は𝑛|𝐴|だから主張を得る.◼
命題 16.5.6 は,辺境界を射影の要素数の言葉に書き換える.そこに 定理 16.4.2 を当てれば,もう一つの下界が出る.正の整数𝑚に対し𝑢 ↦𝑢1/𝑚が[0,∞)の上で単調非減少であること(𝑢 ↦𝑢𝑚の逆写像である)と,正の実数のべき乗の規則,すなわち正の実数𝑢,𝑣と実数𝜅,𝜏について(𝑢𝑣)𝜅 =𝑢𝜅𝑣𝜅,𝑢𝜅+𝜏 =𝑢𝜅𝑢𝜏,(𝑢𝜅)𝜏 =𝑢𝜅𝜏が成り立つことを既知とする.単調性を使うのは 定理 16.5.7 の証明と 例 16.6.2 の二箇所で,べき乗の規則を使うのは,本節と次節が1/𝑚乗を積や積のべきに通すところである.
定理 16.5.7. 𝑛 ≥1とし,𝐴 ⊆{0,1}𝑛を空でない集合とすると
2𝑛|𝐴|(𝑛−1)/𝑛−𝑛|𝐴|≤|𝜕e𝐴|である.
証明. 補題 16.5.5 を𝑡𝑖 =|𝜋−𝑖(𝐴)|ととって当てると
𝑛∑𝑖=1|𝜋−𝑖(𝐴)|≥𝑛(𝑛∏𝑖=1|𝜋−𝑖(𝐴)|)1/𝑛である.X ={0,1}として 定理 16.4.2 を当てると∏𝑛𝑖=1|𝜋−𝑖(𝐴)| ≥|𝐴|𝑛−1であり,1/𝑛乗が単調非減少だから右辺は𝑛|𝐴|(𝑛−1)/𝑛以上である.命題 16.5.6 と合わせると|𝜕e𝐴| +𝑛|𝐴| ≥2𝑛|𝐴|(𝑛−1)/𝑛であり,移項すれば主張を得る.◼
下界が二つ出たので,どちらが強いかを決めておく.
命題 16.5.8. 𝑛 ≥1とし,𝐴 ⊆{0,1}𝑛を空でない集合とすると
2𝑛|𝐴|(𝑛−1)/𝑛−𝑛|𝐴|≤|𝐴|(𝑛−log2|𝐴|)である.すなわち 定理 16.5.3 の下界は 定理 16.5.7 の下界以上である.等号が成り立つのは|𝐴| =1のときと|𝐴| =2𝑛のときに限る.
証明. 𝐴は空でなく{0,1}𝑛に含まれるから1 ≤|𝐴| ≤2𝑛であり,𝑠 :=1 −log2|𝐴|/𝑛とおくと0 ≤𝑠 ≤1である.log2|𝐴| =𝑛(1 −𝑠)だから|𝐴|−1/𝑛 =2−(1−𝑠)であり,
2𝑛|𝐴|(𝑛−1)/𝑛−𝑛|𝐴|=2𝑛|𝐴||𝐴|−1/𝑛−𝑛|𝐴|=𝑛|𝐴|(2𝑠−1),|𝐴|(𝑛−log2|𝐴|)=𝑛|𝐴|𝑠である.𝑛|𝐴| >0だから,示すべきは0 ≤𝑠 ≤1に対する2𝑠 ≤1 +𝑠である.補題 1.1.6 のとおりlog2は狭義凹だから,補題 1.1.9 を,2点1と2,重み1 −𝑠と𝑠ととって当てると
log2(1+𝑠)=log2((1−𝑠)⋅1+𝑠⋅2)≥(1−𝑠)log21+𝑠log22=𝑠である.𝑠 =log22𝑠でありlog2は狭義単調だから,1 +𝑠 ≥2𝑠を得る.等号については,0 <𝑠 <1のときは 補題 1.1.9 の重みが二つとも正で点1と2が違うから狭義であり,𝑠 =0と𝑠 =1のときは重みの一方が0で等号である.𝑠 =0は|𝐴| =2𝑛,𝑠 =1は|𝐴| =1にあたる.◼
二つの下界を数で比べる. 𝑛 =10とし,𝐴を5個の座標を固定して得られる32点の部分立方体にとる.例 16.5.4 より|𝜕e𝐴| =32 ×5 =160である.定理 16.5.3 の下界は32(10 −5) =160で真の値に一致し,定理 16.5.7 の下界は2 ×10 ×329/10 −10 ×32 =452.548… −320 =132.548…で,27ほど届かない.両端では二つは一致する.|𝐴| =1ではどちらも𝑛,|𝐴| =2𝑛ではどちらも0である.
二つの下界は道が違う.弱いほうの 定理 16.5.7 は,命題 16.5.6 で辺境界を射影の要素数に書き換えてから 定理 16.4.2 と 補題 16.5.5 に渡すので,本節の側で見ているのは要素数だけである(定理 16.4.2 自身の証明は 定理 16.3.1 を通るので,エントロピーを使わずに済むわけではない).強いほうの 定理 16.5.3 は,射影を経由せずに 定理 16.1.4 の分解を立方体の上でそのまま使い,1座標だけを残したときの条件付きエントロピーが,条件の値ごとに0か1しかとらないことを数え上げに直す.射影を経由しないほうが弱くならない下界を出し,両端の|𝐴| =1と|𝐴| =2𝑛を除けば真に強い,というのが二つを比べた結果である.
強いほうの下界は,要素数が2のべきであるときにはとられる.節の冒頭の問いの答えは,そこから出る.
系 16.5.9(辺境界の最小値). 𝑛 ≥0とし,𝑘を0 ≤𝑘 ≤𝑛を満たす整数とする.|𝐴| =2𝑘を満たす𝐴 ⊆{0,1}𝑛を動かすとき,|𝜕e𝐴|の最小値は2𝑘(𝑛 −𝑘)である.
証明. |𝐴| =2𝑘は正だから𝐴は空でなく,log22𝑘 =𝑘だから,そのような𝐴のどれについても 定理 16.5.3 は|𝜕e𝐴| ≥2𝑘(𝑛 −𝑘)を与える.いっぽう0 ≤𝑘 ≤𝑛だから,要素数𝑛 −𝑘の座標の集合と,そこから{0,1}への関数を一つずつとって 例 16.5.4 を当てることができ,そこで作った部分立方体は要素数が2𝑘で,その辺境界の要素数はちょうど2𝑘(𝑛 −𝑘)である.よって2𝑘(𝑛 −𝑘)は下界であり,かつとられる.◼
次節は 補題 16.5.5 のほうをもう一度使う.当てる相手は集合の要素数ではなく,行列の行列式である.
InformationTheory — 形式化検証つき情報理論教科書(レビュー版).数式は MathJax + AMS Euler で事前レンダリング.