Тэорыя інфармацыі

Тэо́рыя інфарма́цыі — раздзел кібернетыкі, які вывучае працэсы захоўвання, пераўтварэння і перадачы інфармацыі.

У тэорыі інфармацыі выкарыстоўваюцца метады тэорый імавернасцей, лікаў, графаў, гульняў, матэматычнай статыстыкі, алгебры.

Інтэнсіўнае развіццё абумоўлена патрэбамі сродкаў сувязі, электроннай вылічальнай і кіравальнай тэхнікі, радыёлакацыі і інш.

Узнікла тэорыя інфармацыі ў канцы 1940-х гадоў на аснове прац амерыканскага матэматыка К. Шэнана; значны ўклад у яе абгрунтаванне зрабілі савецкія вучоныя А. М. Калмагораў, А. Я. Хінчын, А. А. Харкевіч.

На Беларусі даследаванні па тэорыі інфармацыі праводзяцца з 1960-х гадоў у Інстытуце тэхнічнай кібернетыкі НАН Беларусі, БДУ, Беларускім дзяржаўным універсітэце інфарматыкі і радыёэлектронікі і іншых.

Асноўная частка тэорыі інфармацыі — агульная тэорыя сувязі, якая распрацоўвае эфектыўныя метады перадачы інфармацыі па лініях сувязі, вывучае праблемы аптымальнага кадзіравання і фільтрацыі інфармацыі, выяўлення і прадказання сігналаў.

Тэорыя інфармацыі зыходзіць з таго, што сігналы (паведамленні) паступаюць ад крыніцы ў выпадковай паслядоўнасці, маюць пэўную імавернасць, а таксама імавернасць таго, што паведамленні могуць скажацца ў час перадачы. У якасці меры такой неазначальнасці прымаецца сярэдняя колькасць двайковых знакаў, неабходная для запісу адвольнага паведамлення дадзенай крыніцы самым эканомным спосабам кадзіравання. Гэтая мера не меншая за энтрапію мноства паведамленняў

${\displaystyle H=\sum _{i=1}^{n}p_{i}\log _{2}{\frac {1}{p_{i}}},}$

дзе n — колькасць паведамленняў, p_i — імавернасць з'яўлення асобнага паведамлення.

Колькасць інфармацыі ў паведамленні X адносна паведамлення Y вызначаецца суадносінамі

${\displaystyle I(X,Y)=H(X)+H(Y)-H(X,Y),}$

дзе H(X,Y) — энтрапія пары (X,Y).

Скорасць V перадачы інфармацыі па канале сувязі не перавышае велічыні, вызначанай з суадносін

${\displaystyle HV=C,}$

дзе H — энтрапія крыніцы на сімвал, C — прапускная здольнасць дадзенага канала.

• Інфармацыі тэорыя // Беларуская энцыклапедыя: У 18 т. Т. 7: Застаўка — Кантата / Рэдкал.: Г. П. Пашкоў і інш. — Мн. : БелЭн, 1998. — Т. 7. — С. 291. — 10 000 экз. — ISBN 985-11-0035-8. — ISBN 985-11-0130-3 (т. 7).
• Шеннон К. Работы по теории информации и кибернетике: Пер. с англ. — М. 1963.
• Дивногорцев Г. П., Караченцева Н. Я., Яшин В. М. Передача данных в сетях вычислительных центров. — Мн., 1971.
• Липницкий С. Ф., Ярмош Н. А. Моделирование интеллектуальных процессов в инженерных информационных системах. — Мн., 1996.