Скорость передачи информации

Теория информации
Собственная информация Информационная энтропия Дифференциальная энтропия Условная энтропия Энтропия объединения Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Избыточность информации Скорость передачи информации Пропускная способность канала
Теорема Шеннона для канала без шума Теоремы Шеннона для канала с шумом Теорема Шеннона — Хартли

Скорость передачи информации — количество информации, передаваемое по каналу связи в единицу времени^[1]. Является отношением средней взаимной информации между входными и выходными символами канала связи к среднему времени, затрачиваемому на передачу одного символа. Максимальная скорость передачи информации называется пропускной способностью канала^[2].

Скоростью передачи информации по дискретному каналу связи (между входом модулятора передатчика и выходом демодулятора приёмника) называется величина^[1]:

${\displaystyle R={\frac {I(A,B)}{T_{s}}}=H'(A)-H'(A|B),}$

где

${\displaystyle T_{s}=1/\nu }$ — среднее время, затрачиваемое на передачу одного символа, ${\displaystyle \nu }$ — средняя скорость передачи символов.

${\displaystyle I(A,B)=H(A)-H(A|B)}$ — средняя взаимная информация между входными ${\displaystyle A}$ символами канала и выходными ${\displaystyle B}$ символами канала,

${\displaystyle H'(A)={\frac {1}{T_{s}}}H(A)}$ — производительность источника сообщений, ${\displaystyle H(A)}$ — энтропия источника сообщений, которая является средним количеством переданной информации в одном символе источника или степенью неопределенности передачи того или иного символа.

В случае передачи независимых друг от друга символов энтропия источника равна:

${\displaystyle H(A)=-\sum _{i=1}^{M}{p(a_{i})\log _{2}(p(a_{i}))},}$

где

${\displaystyle p(a_{i})}$ — априорная вероятность появления (передачи) символа ${\displaystyle a_{i}}$,

${\displaystyle M}$ — объём канального алфавита (число различных значений символов канального алфавита).

Максимальное значении энтропии ${\displaystyle H(A)}$ равно ${\displaystyle \log _{2}(M)}$ и наблюдается в случае, когда все символы источника равновероятны, то есть ${\displaystyle p(a_{i})=1/M}$. В случае, когда по каналу передаётся только один символ (${\displaystyle p(a_{i})=1}$ и ${\displaystyle p(a_{j})=0}$ для всех ${\displaystyle i\neq j}$) значение ${\displaystyle H(A)}$ равно нулю, что означает полную определённости в выборе передаваемого символа^[1].

Величина

${\displaystyle H'(A|B)={\frac {1}{T_{s}}}H(A|B)}$

называется ненадежностью, отнесённой к единице времени, ${\displaystyle H(A|B)}$ является условной энтропией и называется ненадежностью, то есть средним количеством информации, теряемой при передаче информации и являющейся мерой неопределённости принятого символа^[3][4]. Эта величина зависит от вероятности ошибочного приема символов источника^[5].

В случае передачи информации независимыми символами по дискретному ${\displaystyle M}$-ичному симметричному каналу, то есть для которого алфавиты на входе и выходе канала одинаковы, априорные вероятности входных и выходных символов канала одинаковы и вероятности перехода из входного символа ${\displaystyle a_{i}}$ в выходной символ ${\displaystyle b_{j}}$ определяются как: ${\displaystyle p(b_{j}|a_{i})={\begin{cases}{\frac {p_{\text{ош}}}{M-1}},i\neq j\\1-p_{\text{ош}},i=j\\\end{cases}}}$, ненадежность равна:

${\displaystyle H(A|B)=-(1-p_{\text{ош}})\log _{2}(1-p_{\text{ош}})-p_{\text{ош}}\log _{2}{\frac {p_{\text{ош}}}{M-1}}.}$

где ${\displaystyle p_{\text{ош}}}$ — вероятность ошибочного приёма символа^[6].

Для канала без шума ненадежность ${\displaystyle H(A|B)}$ равна нулю, поэтому скорость передачи информации равна производительности источника: ${\displaystyle R=H'(A)}$.

Отличие скорости передачи информации ${\displaystyle R}$ от скорости ${\displaystyle R_{b}=1/T_{b}=\log _{2}(M)/T_{s}}$ при равномерном кодировании символов источника состоит в том, что ${\displaystyle R}$ является действительной скоростью передачи информации, а ${\displaystyle R_{b}}$ — скоростью создания информации (технической скоростью передачи информации (битов)), где ${\displaystyle T_{b}}$ — длительность бита. В случае отсутствия шума в канале связи (вероятность ошибочного приема символов ${\displaystyle p_{\text{ош}}}$ равна нулю), то есть ${\displaystyle H(A|B)=0}$ и одинаковой априорной вероятности передачи символов, то есть ${\displaystyle p(a_{i})=1/M}$, эти величины являются равными. В случае наличия шума часть информации оказывается принятой неправильно, что эквивалентно тому, что действительная скорость передачи информации уменьшается. В двоичном канале (${\displaystyle M=2}$), в случае когда вероятность ошибочного приёма символов равна ${\displaystyle p_{\text{ош}}=1/2}$, действительная скорость передачи информации равна нулю, так как примерно половина символов окажутся принятыми неправильно, то есть никакой действительной передачи информации не будет происходить, хотя скорость создания информации останется неизменной^[4].