Теорема Шеннона — Хартли

Теория информации
Собственная информация Информационная энтропия Дифференциальная энтропия Условная энтропия Энтропия объединения Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Избыточность информации Скорость передачи информации Пропускная способность канала
Теорема Шеннона для канала без шума Теоремы Шеннона для канала с шумом Теорема Шеннона — Хартли

Теорема Шеннона — Хартли (формула Шеннона^[1]) в теории информации — формула, связывающая пропускную способность канала c аддитивным белым гауссовым шумом с шириной полосы пропускания канала и отношением сигнал-шум^[1][2][3]. Названа в честь Клода Шеннона и Ральфа Хартли. Была доказана Клодом Шенноном в 1948 году^[4].

Теорема Шеннона — Хартли утверждает, что пропускная способность непрерывного канала ${\displaystyle C}$ c аддитивным белым гауссовым шумом связана с шириной полосы пропускания канала и отношением сигнал-шум по формуле:

${\displaystyle C=\Delta F\log _{2}(1+{\frac {P_{s}}{P_{n}}}),}$

где

${\displaystyle C}$ — пропускная способность канала, бит/с;

${\displaystyle \Delta F}$ — полоса пропускания канала, Гц;

${\displaystyle P_{s}}$ — средняя мощность сигнала в полосе в полосе ${\displaystyle \Delta F}$, Вт;

${\displaystyle P_{n}=N_{0}\Delta F}$ — мощность шума в полосе ${\displaystyle \Delta F}$, Вт, ${\displaystyle N_{0}}$ — спектральная плотность мощности шума;

${\displaystyle {\frac {P_{s}}{P_{n}}}}$ — отношение мощности сигнала к мощности шума.

Клод Шеннон утверждал, что эта формула означает, что с помощью достаточно сложных систем кодирования можно передавать двоичные знаки со скоростью ${\displaystyle C=\Delta F\log _{2}(1+{\frac {P_{s}}{P_{n}}})}$ при сколь угодно малой частоте ошибок. Невозможно передавать с большей скоростью при любой системе кодирования без того, чтобы частота ошибок не была бы положительна. Для достижения этой предельной скорости передаваемые сигналы должны быть близки по своим статистическим свойствам к белому шуму. При этом длительность сигнала должна быть достаточно большой^[5].

При этом даже бесконечное увеличение полосы ${\displaystyle \Delta F}$ не приводит к бесконечному росту пропускной способности ${\displaystyle C}$^[1]:

${\displaystyle C_{\infty }=\lim _{\Delta F\to \infty }C=\lim _{\Delta F\to \infty }\Delta F\cdot \log _{2}e\cdot \ln \left(1+{\frac {P_{s}}{N_{0}\Delta F}}\right)=\lim _{F\to \infty }\Delta F\cdot {\frac {P_{s}}{N_{0}\Delta F}}\log _{2}e={\frac {P_{s}}{N_{0}}}\log _{2}e\approx {\frac {P_{s}}{N_{0}}}\cdot 1,443}$ бит/с.

Пропускная способность непрерывного канала с шумом, отличным от гауссова, или с шумом, энергетический спектр которого неравномерен в полосе пропускания канала, оказывается больше вычисленной по формуле Шеннона — Хартли^[6].

Формулу Шеннона — Хартли можно переписать в виде, получив формулу, называемую границей Шеннона^[7]:

${\displaystyle \beta _{E}=(2^{1/\beta _{F}}-1)\beta _{F}}$,

где ${\displaystyle \beta _{E}={\frac {E_{b}}{N_{0}}}={\frac {P_{s}}{P_{n}}}{\frac {\Delta F}{R}}}$ — удельные энергетические затраты, ${\displaystyle E_{b}}$ — энергия сигнала, затрачиваемая на передачу одного бита информации, ${\displaystyle N_{0}}$ — спектральная плотность мощности шума, ${\displaystyle R}$ — скорость создания информации (при равновероятных и независимых символах источника).

${\displaystyle \beta _{F}={\frac {\Delta F}{C}}}$ — удельные затраты полосы частот.

Так как по условию теоремы Шеннона для канала с шумом для безошибочного воспроизведения сообщений необходимо выполнение условия ${\displaystyle R<C}$, то удельные энергетические затраты должны удовлетворять следующему неравенству:

${\displaystyle \beta _{E}>(2^{1/\beta _{F}}-1)\beta _{F},}$

то есть величина ${\displaystyle \beta _{E}}$ должна быть выше границы Шеннона^[7].

При величине ${\displaystyle \beta _{F}\rightarrow \infty }$ минимально возможное значение ${\displaystyle \beta _{E}=\ln(2)=0.693}$, называемое пределом Шеннона^[6]. Таким образом, величина удельных энергетических затрат для канала с АБГШ, даже при ${\displaystyle \beta _{F}\rightarrow \infty }$, должна превосходить значение ${\displaystyle \ln(2)}$^[8].