シャノンの通信路符号化定理

情報理論
情報量
情報量 微分エントロピー 条件付きエントロピー 交差エントロピー 結合エントロピー 相互情報量 カルバック・ライブラー情報量 エントロピーレート
通信路
情報源符号化定理 通信路容量 通信路符号化定理 シャノン＝ハートレーの定理
単位
シャノン ナット ハートレー
その他
漸近等分割性（英語版） レート歪み理論（英語版）
カテゴリ
表 話 編 歴

情報理論において、シャノンの通信路符号化定理（シャノンのつうしんろふごうかていり、英語: noisy-channel coding theorem）とは、通信路の雑音のレベルがどのように与えられたとしても、その通信路を介して計算上の最大値までほぼエラーのない離散データ（デジタル情報）を送信することが可能であるという定理である。この定理は、1948年にクロード・シャノンによって発表されたが、これはハリー・ナイキストとラルフ・ハートレーの初期の仕事とアイデアに一部基づいていた。シャノンの第一基本定理（情報源符号化定理）に対してシャノンの第二基本定理とも言い、単にシャノンの定理とも言う。

上記の「計算上の最大値」を通信路容量（またはシャノン限界、シャノン容量とも）といい、特定の雑音レベルについて、通信路の理論上の最大情報転送速度である。

1948年にクロード・シャノンによって定式化されたこの定理は、誤り訂正の可能な最大効率と雑音干渉およびデータ破損のレベルを記述している。 シャノンの定理は、通信と情報記録の両方に幅広く応用されている。この定理は、現代的な情報理論の分野にとって根本的に重要なものである。シャノンは証明の概要を記述しただけで、離散した場合の最初の厳密な証明は、1954年のAmiel Feinsteinによるものである^[1]。

シャノンの定理によれば、雑音のある通信路の通信路容量を ${\displaystyle C}$ 、情報の送信レートを ${\displaystyle R}$ と与えたとき、 ${\displaystyle R<C}$ ならば、受信機での誤り率を任意に小さくすることが可能な符号化が存在する。これは、理論的には、限界速度 ${\displaystyle C}$ 未満のいかなる速度でも、ほぼ誤差なく情報を伝送することが可能であることを意味する。

逆も重要である。 ${\displaystyle R>C}$ ならば、任意の小さな誤り率を達成することはできない。全ての符号は、ある正の最小レベルよりも大きい誤り率を有し、このレベルは、レートが増加するにつれて増加する。従って、情報は、通信路容量を超えた速度で通信路を介して確実に伝送されることを保証することはできない。この定理は、速度と容量が等しい稀な状況に対処するものではない。

通信路容量 ${\displaystyle C}$ は、通信路の物理的特性から計算することができる。ガウス雑音を伴う帯域制限された通信路に対しては、シャノン＝ハートレーの定理を用いる。

「メッセージが3回送信され、受信されたメッセージが異なる場合に、3つの中で最良の2つを使用する」などの単純なスキームは、非効率的な誤り訂正法であり、データブロックが誤りなしに通信できることを漸近的に保証することはできない。リード・ソロモン符号、低密度パリティ検査符号(LDPC)、ターボ符号などの高度な技術は、理論的な通信路容量に近づくが、計算上の複雑さを犠牲にしている。今日のデジタルシグナルプロセッサでは、これらの高性能な符号化と計算能力を使用することで、通信路容量に非常に近いところまで到達することが可能になっている。 実際、LDPC符号は、非常に長いブロック長を有する2進AWGNチャネルの場合に、通信路容量の0.0045dB以内に到達することができることが示された^[2]。

定理 (Shannon, 1948)^[3]:

1. 任意の無記憶通信路について、通信路容量

${\displaystyle \ C=\sup _{p_{X}}I(X;Y)}$^[4]

は次の特性を持つ。任意の正数 ${\displaystyle \epsilon }$ および ${\displaystyle R<C}$ について、${\displaystyle N}$ が充分に大きい場合、ブロックエラーの最大確率が ${\displaystyle \epsilon }$ 以下となるような、長さ ${\displaystyle N}$ 、${\displaystyle R}$ 以上のレートの符号と復号アルゴリズムが存在する。

2. ビットの誤り率 ${\displaystyle p_{b}}$ が許容可能である場合、 ${\displaystyle R(p_{b})}$ までのレートが達成可能である。ここで、

${\displaystyle R(p_{b})={\frac {C}{1-H_{2}(p_{b})}}}$

であり、 ${\displaystyle H_{2}(p_{b})}$ は二値エントロピー関数で、

${\displaystyle H_{2}(p_{b})=-\left[p_{b}\log _{2}{p_{b}}+(1-p_{b})\log _{2}({1-p_{b}})\right]}$

である。

3. 任意の ${\displaystyle p_{b}}$ について、 ${\displaystyle R(p_{b})}$ より大きいレートは達成できない。

情報理論における他のいくつかの主要な結果と同様に、雑音のある通信路符号化定理の証明は、達成可能性の結果と、対応する逆定理の結果を含む。ここでの場合、これらの2つの構成要素は、雑音のある通信路を介して通信する際に可能なデータレートの集合の有界性を示す役割を果たし、また対応する逆定理は、これらの上下界がタイトであることを示している。

以下の概要は、情報理論の教科書で学習できる様々な証明スタイルのうちの一例に過ぎない。

この達成可能性の証明は、漸近的等分配性（英語版）(AEP)を利用する証明のスタイルに従う。他のスタイルとして、誤り指数（英語版）を用いる情報理論の教科書もある。

どちらのタイプの証明でも、通信路を通じて使用される符号表がランダムに構成されているランダム符号化の論法を使う。これを用いることで解析が簡単になるが、それでもなお、通信路容量以下の任意のデータレートにおいて、誤り率が望むままに小さい符号が存在することを証明できる。

AEP関連の議論により、与えられた通信路について、長さ ${\displaystyle n}$ の情報源シンボル系列を ${\displaystyle X_{1}^{n}}$ 、長さ ${\displaystyle n}$ の通信路出力系列を ${\displaystyle Y_{1}^{n}}$ とするとき、同時典型集合(jointly typical set)を以下のように定義できる。

${\displaystyle A_{\varepsilon }^{(n)}=\{(x^{n},y^{n})\in {\mathcal {X}}^{n}\times {\mathcal {Y}}^{n}}$

${\displaystyle 2^{-n(H(X)+\varepsilon )}\leq p(X_{1}^{n})\leq 2^{-n(H(X)-\varepsilon )}}$

${\displaystyle 2^{-n(H(Y)+\varepsilon )}\leq p(Y_{1}^{n})\leq 2^{-n(H(Y)-\varepsilon )}}$

${\displaystyle {2^{-n(H(X,Y)+\varepsilon )}}\leq p(X_{1}^{n},Y_{1}^{n})\leq 2^{-n(H(X,Y)-\varepsilon )}\}}$

2つの系列 ${\displaystyle {X_{1}^{n}}}$ と ${\displaystyle Y_{1}^{n}}$ が上記で定義した同時典型集合の中にある場合、これらは同時典型(jointly typical)であるという。

ステップ

1. ランダム符号化の論法では、確率分布 ${\displaystyle Q}$ から長さ ${\displaystyle n}$ の符号語を${\displaystyle 2^{nR}}$ 個ランダムに生成する。
2. この符号は送信者と受信者に公開される。また、両者は通信路が使用している遷移行列 ${\displaystyle p(y|x)}$ を知っているものと仮定する。
3. メッセージ W は、符号語の集合上の一様分布に従って選択される。その一様分布は、${\displaystyle Pr(W=w)=2^{-nR},w=1,2,\dots ,2^{nR}}$ である。
4. メッセージ W は、通信路を通じて送信される。
5. 受信者は、 ${\displaystyle P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))}$ に従って系列を受信する。
6. これらの符号語を通信路を通じて送信すると、${\displaystyle Y_{1}^{n}}$ が受信され、Y に同時典型な符号語が丁度1個だけ存在するのであれば、何らかの情報源系列に復号される。同時典型な符号語が存在しない、あるいは2つ以上存在する場合は、誤りが宣言される。さらに、復号された符号語が元の符号語と一致しない場合にも誤りが発生する。これを典型集合復号(typical set decoding)という。

この枠組みにおける誤り率は、2つの部分に分けられる。

1. 受信系列Yに対して同時典型な系列Xが存在しない場合、誤りが発生する可能性がある。
2. 正しくない系列Xが受信系列Yと同時典型である場合、誤りが発生する可能性がある。

• 符号の構成がランダムであることから、符号全体で平均した平均誤り率は、送信されたメッセージ番号に依存しないと仮定できる。従って、一般性を失うことなく、 ${\displaystyle W=1}$ と仮定して良い。
• 同時AEPから、${\displaystyle n}$ を大きくすると、同時典型な X が存在しない確率は0に近付く。この誤り率は、上界として ${\displaystyle \varepsilon }$ に限定できる。
• また、同時AEPから、ある特定の ${\displaystyle X_{1}^{n}(i)}$ とメッセージ${\displaystyle W=1}$ から得られた ${\displaystyle Y_{1}^{n}}$ とが同時典型である確率は ${\displaystyle \leq 2^{-n(I(X;Y)-3\varepsilon )}}$ である。

メッセージ1が送信されたときの受信系列と、メッセージiとが同時典型である事象として、次のように事象${\displaystyle E_{i}}$を定義する。

定義: ${\displaystyle E_{i}=\{(X_{1}^{n}(i),Y_{1}^{n})\in A_{\varepsilon }^{(n)}\},i=1,2,\dots ,2^{nR}}$

${\displaystyle {\begin{aligned}P({\text{error}})&{}=P({\text{error}}|W=1)\leq P(E_{1}^{c})+\sum _{i=2}^{2^{nR}}P(E_{i})\\&{}\leq P(E_{1}^{c})+(2^{nR}-1)2^{-n(I(X;Y)-3\varepsilon )}\\&{}\leq \varepsilon +2^{-n(I(X;Y)-R-3\varepsilon )}.\end{aligned}}}$

通信路に関して ${\displaystyle R<I(X;Y)}$ であれば、${\displaystyle n}$ を無限大に持って行くと、誤り率は0に近付くことが分かる。

最終的に、平均的な符号表が「良好」であることが示されたわけだが、性能が平均よりも優れている符号表が存在することは明らかであるため、雑音のある通信路を通じて任意の小さな誤り率で通信するという要求を満たしている。

${\displaystyle 2^{nR}}$個の符号語からなる符号について考える。${\displaystyle W}$は、この集合から一様的に選んだ符号語の番号であるとする。${\displaystyle X^{n}}$ および ${\displaystyle Y^{n}}$ は、それぞれ送出した符号語と受信した符号語であるとする。

1. ${\displaystyle nR=H(W)=H(W|Y^{n})+I(W;Y^{n})}$ （エントロピーと相互情報量に関する恒等式を用いて）
2. ${\displaystyle \leq H(W|Y^{n})+I(X^{n}(W);Y^{n})}$ （Xは${\displaystyle W}$の関数であるため）
3. ${\displaystyle \leq 1+P_{e}^{(n)}nR+I(X^{n}(W);Y^{n})}$ （ファノの不等式を用いて）
4. ${\displaystyle \leq 1+P_{e}^{(n)}nR+nC}$ （通信路容量は、相互情報量を最大化したものであることから）

これらのステップの結果として、 ${\displaystyle P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}}$ が得られる。 R が C よりも大きい場合、ブロック長 ${\displaystyle n}$ を無限大に持って行くと、${\displaystyle P_{e}^{(n)}}$ は0より大きな下界を持つことになる。任意に小さな誤り率を得ることができるのは、R が C より小さい場合に限られる。

ウォルフォウィッツ(Wolfowitz)が1957年に証明^[5]した強逆定理(strong converse theorem)では、任意の有限の正の定数 ${\displaystyle A}$ について、

${\displaystyle P_{e}\geq 1-{\frac {4A}{n(R-C)^{2}}}-e^{-{\frac {n(R-C)}{2}}}}$

であることを示している。弱逆定理では、${\displaystyle n}$ を無限大に持って行くと、誤り率が0より大きな下界を持つことしか示していないのに対し、強逆定理では誤り率が1に近付くことを示している。このように、${\displaystyle C}$ は、完全に信頼できる通信とまったく信頼できない通信とをはっきりと分ける境界点になっている。

通信路は無記憶であると仮定しているが、その遷移確率は送信者および受信者において既知の方法で離散時刻 i と共に変化する。

通信路容量は、

${\displaystyle C=\lim \inf \max _{p^{(}X_{1}),p^{(}X_{2}),...}{\frac {1}{n}}\sum _{i=1}^{n}I(X_{i};Y_{i})}$

により与えられる。

最大値は、それぞれの通信路において通信路容量に達する確率分布において得られる。つまり、${\displaystyle C_{i}}$ を時刻 i の通信路の通信路容量とすると、 ${\displaystyle C=\lim \inf {\frac {1}{n}}\sum _{i=1}^{n}C_{i}}$ である。

下極限(${\displaystyle \lim \inf }$)の部分は、${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}C_{i}}$が収束しない場合に機能する。

この証明は、通信路符号化定理とほぼ同じ方法で行われる。達成可能性は、それぞれの通信路で通信路容量を得る確率分布に従ってランダムに抽出された各シンボルを用いたランダム符号化を用いて証明される。典型性の議論では、漸近的等分配性（英語版）の記事の非定常情報源における典型集合の定義を使用する。

• 漸近的等分配性（英語版） (AEP)
• ファノの不等式
• レート歪み理論（英語版）
• シャノンの情報源符号化定理
• シャノン＝ハートレーの定理
• ターボ符号

• Cover T. M.（英語版）, Thomas J. A., Elements of Information Theory, John Wiley & Sons, 1991. ISBN 0-471-06259-6
• Fano, R. M., Transmission of information; a statistical theory of communications, MIT Press, 1961. ISBN 0-262-06001-9
• Feinstein, Amiel, "A New basic theorem of information theory", IEEE Transactions on Information Theory, 4(4): 2-22, 1954.
• MacKay, David J. C.（英語版）, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003. ISBN 0-521-64298-1 [free online]
• Shannon, C. E., A Mathematical Theory of Communication Urbana, IL: University of Illinois Press, 1949 (reprinted 1998).
• Wolfowitz, J.（英語版）, "The coding of messages subject to chance errors", Illinois J. Math., 1: 591–606, 1957.

• On Shannon and Shannon's law
• Shannon's Noisy Channel Coding Theorem
• シャノン限界を達成しかつ実行可能な通信路符号を実現 日本電信電話株式会社 2019年5月27日