Хронология развития теории информации Хронология событий, связанных с  теорией информации, сжатием данных,  кодами коррекции ошибок и смежных дисциплин:
- 1872 — Людвиг Больцман представляет свою H-теорему, а вместе с этим формулу Σpi log pi для энтропии одной частицы газа.
- 1878 — Джозайя Уиллард Гиббс, определяет энтропию Гиббса: вероятности в формуле энтропии теперь взяты как вероятности состояния целой системы.
- 1924 — Гарри Найквист рассуждает о квантификации «Интеллекта» и скорости, на которой это может быть передано системой коммуникации.
- 1927 — Джон фон Нейман определяет фон Неймановскую энтропию[англ.], расширяя Гиббсовскую энтропию в квантовой механике.
- 1928 — Ральф Хартли представляет формулу Хартли как логарифм числа возможных сообщений, с информацией, передаваемой, когда приёмник (получатель, ресивер) может отличить одну последовательность символов от любой другой (независимо от любого связанного значения).
- 1929 — Лео Силард анализирует демона Максвелла, показывают, как двигатель Szilard может иногда преобразовывать информацию в извлечение полезной работы.
- 1940 — Алан Тьюринг представляет deciban как единицу измерения информации в немецкой машине Энигма с настройками, зашифрованными процессом Banburismus.
- 1944 — теория информации Клода Шеннона в основном завершена.
- 1947 — Ричард Хемминг изобретает Код Хемминга для обнаружения ошибок и их исправления, но не публикует их до 1950 года.
- 1948 — Клод Шеннон публикует Математическую теорию связи
- 1949 — Клод Шеннон публикует Передачу Информации в виде шумов, в которой описаны Теорема отсчётов и Теорема Шеннона — Хартли.
- 1949 — Рассекречена Теория связи в секретных системах Клода Шеннона.
- 1949 — Роберт Фано опубликовал отчет, в котором независимо от Клода Шеннона описан Алгоритм Шеннона — Фано.
- 1949 — опубликовано Неравенство Крафта — Макмиллана.
- 1949 — Марсель Голей вводит коды Голея для исправления ошибок методом упреждения.
- 1950 — Ричард Хемминг публикует коды Хемминга для исправления ошибок методом упреждения.
- 1951 — Соломон Кульбак и Ричард Лейблер[англ.] вводят понятие расстояния Кульбака-Лейблера.
- 1951 — Дэвид Хаффман изобретает кодирование Хаффмана, метод нахождения оптимальных префиксных кодов для сжатия данных без потерь.
- 1953 — опубликован Sardinas–Patterson algorithm[англ.].
- 1954 — Ирвинг Рид[англ.] и Дэвид E. Мюллер[англ.] вводит коды Рида-Мюллера.
- 1955 — Питер Элиас[англ.] вводит свёрточные коды.
- 1957 — Юджин Прандж[англ.] первый обсуждает циклический избыточный код.
- 1959 — Алексис Хоквингем[англ.], и самостоятельно в следующем году Радж Чандра Боуз[англ.] и Двайджендра Камар Рей-Чоудхури[англ.], представляют коды Боуза-Чоудхури-Хоквингема (БЧХ-коды).
- 1960 — Ирвинг Рид[англ.] и Густав Соломон[англ.] вводят коды Рида-Соломона.
- 1962 — Роберт Галлагер предлагает код с малой плотностью проверок на чётность; их не использовали в течение 30 лет из-за технических ограничений.
- 1966 — опубликована статья Дэвида Форнея[англ.] Concatenated error correction code[англ.].
- 1967 — Эндрю Витерби открывает алгоритм Витерби, делающий возможным декодирование свёрточных кодов.
- 1968 — Элвин Берлекэмп изобретает алгоритм Берлекэмпа — Мэсси; его применение к расшифровке БЧХ-кодов и кода Рида-Соломона, указанный Джеймсом Мэсси в последующем году.
- 1968 — Крис Уоллис[англ.] и Дэвид М. Бутон издают первый из многих докладов о Сообщениях минимальной длины (СМД) — их статистический и индуктивный вывод.
- 1972 — опубликована статья о Justesen code[англ.].
- 1973 — Дэвид Слепиан[англ.] и Джек Волф[англ.] открывают и доказывают Код Слепиана-Вольфа[англ.], кодирующего пределы распределённого источника кодирования.
- 1976 — Готфрид Унгербоэк[англ.] публикует первую статью о Треллис-модуляции.
- 1976 — Йорма Риссанен разрабатывает и позднее патентует арифметическое кодирование для IBM.
- 1977 — Абрахам Лемпель и Яаков Зив разрабатывают алгоритм сжатия Лемпеля-Зива (LZ77)
- 1982 — Готфрид Унгербоэк[англ.] публикует более подробное описание Треллис-модуляции, что приводит к увеличению скорости аналогового модема старой обычной телефонной службы от 9.6 кбит/сек до 36 кбит/сек.
- 1989 — Фил Кац создаёт .zip формат, включая формат сжатия DEFLATE (LZ77 + Huffman кодирование); позже это становится наиболее широко используемым алгоритмом сжатия без потерь.
- 1993 — Клод Берроу[англ.], Алэйн Главиукс[англ.] и Punya Thitimajshima[англ.] вводят понятие Турбо-кодов.
- 1994 — Майкл Барроуз[англ.] и Дэвид Уилер[англ.] публикуют теорию преобразования Барроуза-Уилера, которая далее найдет своё применение в bzip2.
- 1995 — Benjamin Schumacher[англ.] предложил термин Кубит.
- 1998 — предложен Fountain code[англ.].
- 2001 — описан алгоритм Statistical Lempel–Ziv[англ.].
- 2008 — Erdal Arıkan[англ.] предложил Полярные коды.
Вклад советских учёных в теорию информации
- Понятие марковской цепи принадлежит А. А. Маркову, чьи первые статьи по этому вопросу при решении лингвистических проблем были опубликованы в 1906—1908 годах.
- 1933 — В. А. Котельниковым в была доказана теорема отсчётов.
- 1947 — В. А. Котельниковым создана теория потенциальной помехоустойчивости. Теория потенциальной помехоустойчивости давала возможность синтеза оптимальных устройств обработки любых сигналов в присутствии помех. Она имела два раздела — теория приёма дискретных и аналоговых сигналов.
- 1948—1949 — Основы Информационной теории были заложены американским учёным Клодом Шенноном. В её теоретические разделы внесен вклад советским учёными А. Н. Колмогоровым и А. Я. Хинчиным, а в разделы, соприкасающиеся с применениями, — В. А. Котельниковым, А. А. Харкевичем и др.
- 1950 — При сравнении конкретных кодов с оптимальными широко используются результаты Р. Р. Варшамова. Интересные новые границы для возможностей исправления ошибок установлены В. И. Левенштейном и В. М. Сидельниковым.
- 1956 — К работам математического уровня, закладывающим математический фундамент теории информации, относится доклад А. Н. Колмогорова на сессии АН СССР, посвященной автоматизации производства. Первые работы А. Я. Хинчина были посвящены доказательству основных теорем теории информации для дискретного случая.
- 1957 — при исследовании А. Н. Колмогоровым проблемы Гильберта о суперпозициях он не только показал возможность представления любой непрерывной функции в виде суперпозиции непрерывных же функций трёх переменных, но и создал метод, позволивший его ученику В. И. Арнольду понизить число переменных до двух и тем самым решить упомянутую проблему.
- 1958 — А. Н. Колмогоров «Новый метрический инвариант транзитивных динамических систем и автоморфизмов пространств Лебега».
- 1958 — Доклад И. М. Гельфанда, А. Н. Колмогорова, А. М. Яглома «Количество информации и энтропия для непрерывных распределений».
- 1961 — Ху Го Дин. Три обратные теоремы к теореме Шеннона в теории информации.
- 1962 — Ху Го Дин. Об информационной устойчивости последовательности каналов. Теория вероятностей и её применения.
- 1965 — вышел первый номер журнала «Проблемы передачи информации», созданного по инициативе А. А. Харкевича.
- 1966 — Р. Л. Стратонович, Б. А. Гришанин «Ценность информации при невозможности прямого наблюдения оцениваемой случайной величины».
- 1968 — Р. Л. Стратонович, Б. А. Гришанин «Игровые задачи с ограничениями информационного типа».
- В конце 1960-x Разработана теория Вапника-Червоненкиса, статистическая теория восстановления зависимостей, разработанная В. Н. Вапником и А. Я. Червоненкисом.
- 1970 — В. Д. Гоппа предложил Коды Гоппа[англ.].
- 1972 — В. Н. Солев «О среднем на единицу времени количестве информации, содержащейся в одном гауссовском стационарном процессе относительно другого».
|
