Пропускная способность канала

Теория информации
Собственная информация Информационная энтропия Дифференциальная энтропия Условная энтропия Энтропия объединения Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Избыточность информации Скорость передачи информации Пропускная способность канала
Теорема Шеннона для канала без шума Теоремы Шеннона для канала с шумом Теорема Шеннона — Хартли

Пропускная способность канала — максимальная скорость передачи информации по каналу связи^[1].

Пропускная способность дискретного канала (между входом модулятора передатчика и выходом демодулятора приёмника) равна:

${\displaystyle C=\max\{R\}=\max\{{\frac {1}{T_{s}}}\ I(A,B)\},}$

где ${\displaystyle R}$ — скорость передачи информации по дискретному каналу, ${\displaystyle I(A,B)}$ — средняя взаимная информация между входными ${\displaystyle A}$ символами канала и выходными ${\displaystyle B}$ символами канала, ${\displaystyle T_{s}}$ — среднее время, затрачиваемое на передачу одного символа, ${\displaystyle \nu =1/T_{s}}$ — средняя скорость передачи символов.

При этом максимум ищется по всевозможным распределениям вероятностей входных символов канала^[2].

Пропускная способность непрерывного канала (между выходом модулятора передатчика и входом демодулятора приёмника) равна:

${\displaystyle C=\max\{R\}=\sup\{\lim _{T\to \infty }{\frac {1}{T}}I(x,y)\},}$

где ${\displaystyle R}$ — скорость передачи информации по непрерывному каналу, ${\displaystyle \sup }$ — супремум, то есть верхняя граница множества, ${\displaystyle I(x,y)}$ — средняя взаимная информация между входными ${\displaystyle x}$ сигналами канала и выходными ${\displaystyle y}$ сигналами канала, ${\displaystyle T}$ — длительность сигналов^[3]. При этом супремум ищется по всевозможным распределениям вероятностей входных сигналов канала^[4][5].

Скоростью передачи информации по дискретному каналу связи называется величина^[6]:

${\displaystyle R={\frac {I(A,B)}{T_{s}}}=H'(A)-H'(A|B),}$

где

${\displaystyle I(A,B)=H(A)-H(A|B),}$

${\displaystyle H'(A)={\frac {1}{T_{s}}}H(A)}$ — производительность источника сообщений (скорость создания информации^[7]), ${\displaystyle H(A)}$ — энтропия источника сообщений, которая является средним количеством переданной информации в одном символе источника или степенью неопределенности передачи того или иного символа.

В случае передачи независимых друг от друга символов энтропия источника равна:

${\displaystyle H(A)=-\sum _{i=1}^{M}{p(a_{i})\log _{2}(p(a_{i}))},}$

где

${\displaystyle p(a_{i})}$ — априорная вероятность появления (передачи) символа ${\displaystyle a_{i}}$,

${\displaystyle M}$ — объём канального алфавита (число различных значений символов канального алфавита).

Максимальное значении энтропии ${\displaystyle H(A)}$ равно ${\displaystyle \log _{2}(M)}$ и наблюдается в случае, когда все символы источника равновероятны, то есть ${\displaystyle p(a_{i})=1/M}$. В случае, когда по каналу передаётся только один символ (${\displaystyle p(a_{i})=1}$ и ${\displaystyle p(a_{j})=0}$ для всех ${\displaystyle i\neq j}$) значение ${\displaystyle H(A)}$ равно нулю, что означает полную определённости в выборе передаваемого символа^[6].

Величина

${\displaystyle H'(A|B)={\frac {1}{T_{s}}}H(A|B)}$

называется ненадежностью, отнесённой к единице времени, ${\displaystyle H(A|B)}$ является условной энтропией и называется ненадежностью, то есть средним количеством информации, теряемой при передаче информации и являющейся мерой неопределённости принятого символа^[8][7]. Эта величина зависит от вероятности ошибочного приема символов источника^[9].

В случае передачи информации независимыми символами по дискретному ${\displaystyle M}$-ичному симметричному каналу, то есть для которого алфавиты на входе и выходе канала одинаковы, априорные вероятности входных и выходных символов канала одинаковы и вероятности перехода из входного символа ${\displaystyle a_{i}}$ в выходной символ ${\displaystyle b_{j}}$ определяются как: ${\displaystyle p(a_{j}|b_{i})={\begin{cases}{\frac {p_{\text{ош}}}{M-1}},i\neq j\\1-p_{\text{ош}},i=j\\\end{cases}}}$, ненадежность равна:

${\displaystyle H(A|B)=-(1-p_{\text{ош}})\log _{2}(1-p_{\text{ош}})-p_{\text{ош}}\log _{2}{\frac {p_{\text{ош}}}{M-1}}.}$

где ${\displaystyle p_{\text{ош}}}$ — вероятность ошибочного приёма символа^[10].

Отличие скорости ${\displaystyle R}$ от скорости ${\displaystyle R_{b}=1/T_{b}=\log _{2}(M)/T_{s}}$ при равномерном кодировании символов источника состоит в том, что ${\displaystyle R}$ является действительной скоростью передачи информации, а ${\displaystyle R_{b}}$ — скоростью создания информации (технической скоростью передачи информации (битов)), где ${\displaystyle T_{b}}$ — длительность бита. В случае отсутствия шума в канале связи (вероятность ошибочного приема символов ${\displaystyle p_{\text{ош}}}$ равна нулю) и одинаковой априорной вероятности передачи символов эти величины являются равными. В случае наличия шума часть информации оказывается принятой неправильно, что эквивалентно тому, что действительная скорость передачи информации уменьшается. В двоичном канале (${\displaystyle M=2}$), в случае когда вероятность ошибочного приёма символов равна ${\displaystyle p_{\text{ош}}=1/2}$, действительная скорость передачи информации равна нулю, так как примерно половина символов окажутся принятыми неправильно, то есть никакой действительной передачи информации не будет происходить^[7].

В случае отсутствия шума ненадежность ${\displaystyle H(A|B)}$ равна нулю, поэтому скорость передачи информации равна производительности источника. Так как максимальное значении энтропии ${\displaystyle H(A)}$ равно ${\displaystyle \log _{2}(M)}$, что наблюдается в случае, когда все символы источника равновероятны, то есть ${\displaystyle p(a_{i})=1/M}$, то пропускная способность дискретного канала без шума равна:

${\displaystyle C={\frac {\log _{2}(M)}{T_{s}}},}$

где ${\displaystyle M}$ — основание алфавита источника, ${\displaystyle T_{s}}$ — средняя длительность символа источника.

Так как при равномерном кодировании ${\displaystyle T_{s}=T_{b}\log _{2}(M)}$, где ${\displaystyle T_{b}}$ — длительность бита, то пропускная способность дискретного канала без шума равна скорости передачи битов ${\displaystyle R_{b}=1/T_{b}}$.

В случае кодирования символов источника кодовыми символами, пропускная способность канала без шума между выходом кодера канала и входом декодера канала определяется по формуле:

${\displaystyle C={\frac {\log _{2}(D)}{T_{c}}},}$

для ${\displaystyle T_{c}}$ — длительность кодового символа, ${\displaystyle D}$ — основание кодового алфавита (число различных символов кода)^[11].

Пропускная способность канала c шумом меньше пропускной способности канала без шума^[12].

Так как максимальное значении энтропии ${\displaystyle H(A)}$ равно ${\displaystyle \log _{2}(M)}$ и наблюдается в случае, когда все символы источника равновероятны, то есть ${\displaystyle p(a_{i})=1/M}$ и при наличии шума ненадежность ${\displaystyle M}$-ичного симметричного канала равна ${\displaystyle H(A|B)=-(1-p_{\text{ош}})\log _{2}(1-p_{\text{ош}})-p_{\text{ош}}\log _{2}{\frac {p_{\text{ош}}}{M-1}}}$, то пропускная способность такого канала равна^[13]:

${\displaystyle C={\frac {1}{T_{s}}}(\log _{2}(M)+(1-p_{\text{ош}})\log _{2}(1-p_{\text{ош}})+p_{\text{ош}}\log _{2}{\frac {p_{\text{ош}}}{M-1}}),}$

В случае двоичного симметричного канала (${\displaystyle M=2}$) пропускная способность равна^[13]:

${\displaystyle C={\frac {1}{T_{b}}}(1+(1-p_{\text{ош}})\log _{2}(1-p_{\text{ош}})+p_{\text{ош}}\log _{2}{p_{\text{ош}}}).}$

Пропускная способность непрерывного канала с аддитивным белым гауссовым шумом (АБГШ) равна^[14]:

${\displaystyle C=\Delta F\log _{2}(1+{\frac {P_{s}}{P_{n}}}),}$

где ${\displaystyle \Delta F}$ — полоса пропускания канала, ${\displaystyle P_{s}}$ — средняя мощность полезного сигнала на входе приёмника, ${\displaystyle P_{n}}$ — средняя мощность шума в полосе частот ${\displaystyle \Delta F}$, ${\displaystyle P_{n}=N_{0}\Delta F}$, где ${\displaystyle N_{0}}$ — спектральная плотность мощности белого шума. В качестве полосы пропускания канала можно выбирать полосу частот, в которой содержится 90% мощности сигналов^[15].

Пропускная способность дискретного канала не может быть больше пропускной способности заключённого в нём непрерывного канала^[16].

Теорема Шеннона для непрерывного канала с шумом утверждает, что при энтропии источника сообщений в единицу времени (производительности источника сообщений, скорости создания информации) ${\displaystyle H'(A)}$ меньшей пропускной способности канала ${\displaystyle C}$, можно выбором специального способа кодирования добиться сколь угодной малой вероятности ошибочного приёма информации, а в случае ${\displaystyle H'(A)>C}$ такое кодирование невозможно^[17].

Формулу для пропускной способности непрерывного канала с АБГШ можно переписать в виде:

${\displaystyle \beta _{E}=(2^{1/\beta _{F}}-1)\beta _{F}}$,

где ${\displaystyle \beta _{E}}$ = E_b/N₀ — удельные энергетические затраты, ${\displaystyle \beta _{F}=\Delta F/C}$ — удельные затраты полосы частот. Эта формула называется границей Шеннона^[14].

При сравнении различных видов модуляции и кодирования в качестве ${\displaystyle C}$ можно выбрать пропускную способность дискретного канала с шумом. Для различных значений ${\displaystyle \beta _{E}}$ можно найти вероятность ошибочного приёма символа ${\displaystyle p_{\text{ош}}}$ и для этих вероятностей ${\displaystyle p_{\text{ош}}}$ найти пропускную способность дискретного канала с шумом. В качестве полосы пропускания канала можно выбирать полосу частот, в которой содержится 90% мощности сигналов (${\displaystyle \Delta F_{90\%}}$). Тогда величина ${\displaystyle \beta _{F}}$ будет определяться только выбранным способом модуляции и вероятностью ошибки ${\displaystyle p_{\text{ош}}}$. Таким образом, можно построить зависимость величины ${\displaystyle \beta _{E}}$ от ${\displaystyle \Delta F_{90\%}T_{c}}$, у которой каждая точка соответствует своей вероятности ошибочного приема символа. Все зависимости для любого вида модуляции и кодирования должны находиться выше границы Шеннона. Чем ближе построенные зависимости к границе Шеннона, тем выше спектральная и энергетическая эффективность сигналов^[18].

Граница Шеннона показывает, что для обеспечения возможности безошибочного приёма информации необходимо выполнение условия:

${\displaystyle \beta _{E}>(2^{1/\beta _{F}}-1)\beta _{F},}$

то есть величина ${\displaystyle \beta _{E}}$ должна быть выше границы Шеннона.

Также из границы Шеннона следует, что уменьшение удельных затрат полосы частот, начиная с ${\displaystyle 0.5...1}$, приводит к необходимости резкого увеличения удельных энергетических затрат^[14]. При величине ${\displaystyle \beta _{F}\rightarrow \infty }$ минимально возможное значение ${\displaystyle \beta _{E}=\ln(2)=0.693}$, называемое пределом Шеннона^[19]. Таким образом, величина удельных энергетических затрат для канала с АБГШ, даже при ${\displaystyle \beta _{F}\rightarrow \infty }$, должна превосходить значение ${\displaystyle \ln(2)}$^[20].