Реферат на тему Начала общей теории информации.

Содержание:

Введение 3
1. Историческая справка 4
1.1. Ранние телекоммуникации 4
1.2. Количественные представления информации 5
1.3. Энтропия в статистической механике 6
1.4. Разработка с 1948 года 7
1.5. Хронология событий 8
2. Количество информации 12
2.1. Энтропия источника информации 12
2.2. Совместная энтропия 13
2.3. Условная энтропия (двусмысленность) 13
2.4. Взаимная информация (трансинформация) 13
2.5. Расхождение Кульбака – Лейблера (получение информации) 14
3. Теория кодирования 15
Заключение 17
Литература 18

Введение:

Теория информации — это математическая обработка понятий, параметров и правил, регулирующих передачу сообщений через системы связи. Он был основан Клодом Шенноном в середине двадцатого века и с тех пор превратился в энергичный раздел математики, способствующий развитию других научных областей, таких как статистика, биология, поведенческие науки , нейробиология и статистическая механика. Методы, используемые в теории информации, имеют вероятностный характер, и некоторые рассматривают теорию информации как раздел теории вероятностей., В данном наборе возможных событий информация сообщения, описывающего одно из этих событий, количественно определяет символы, необходимые для оптимального кодирования события. «Оптимальный» означает, что полученное кодовое слово будет однозначно определять событие, изолируя его от всех остальных в наборе, и будет иметь минимальную длину, то есть оно будет состоять из минимального количества символов. Теория информации также предоставляет методологии для отделения реальной информации от шума и определения пропускной способности канала, необходимой для оптимальной передачи, обусловленной скоростью передачи.
В данной работе целью будет описание возникновения теории информации
Основными задачами являются:
1. Описание истории возникновения и хронология событий
2. Описание что включает в себя теория информации

Заключение:

Из всего вышесказанного можно сделать заключение, что теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.
Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с информационной энтропией, коммуникационными системами, криптографией и другими смежными дисциплинами.
В данной работе также рассмотрено становление и разделы в которых применяется теория информации. Практическое начало показывает на истоки возникновения в разных областях. 

Фрагмент текста работы:

1. Историческая справка
Решающим событием, которое установило дисциплину теории информации и сразу привлекло ее внимание во всем мире, стала публикация классической статьи Клода Шеннона « Математическая теория коммуникации » в техническом журнале Bell System в июле и октябре 1948 года.
В этой революционной и новаторской работе, работу над которой Шеннон по существу завершил в Bell Labs к концу 1944 года, Шеннон впервые представил качественную и количественную модель коммуникации как статистический процесс, лежащий в основе теории информации, открывая утверждение, что
«Основная проблема коммуникации заключается в том, чтобы воспроизвести в одной точке, точно или приблизительно, сообщение, выбранное в другой точке».
С этим пришли идеи:
• информационная энтропия и избыточность источника, и его актуальность через источник кодирования теоремы ;
• взаимная информация и пропускная способность канала в шумном канале, в том числе обещания совершенной без потерь связи, заданной шумного канал теоремы кодирования ;
• практический результат закона Шеннона – Хартли для пропускной способности гауссовского канала; и конечно
• бит — новый способ увидеть самую фундаментальную единицу информации.
1.1. Ранние телекоммуникации
Некоторые из самых старых методов телекоммуникаций неявно используют многие идеи, которые впоследствии будут количественно определены в теории информации. Современная телеграфия, начиная с 1830-х годов, использовала азбуку Морзе, в которой более распространенные буквы (например, «E», которые обозначаются как одна «точка») передаются быстрее, чем менее распространенные буквы (например, «J», что выражается как одна «точка», за которой следуют три «тире»). Идея кодирования информации таким образом является краеугольным камнем сжатия данных без потерь. Спустя сто лет частотная модуляция показала, что ширину полосы можно считать просто еще одной степенью свободы. Вокодер, теперь в значительной степени рассматривать как аудио инженерного любопытства, был первоначально разработан в 1939 году, чтобы использовать меньшую пропускную способность, чем у исходного сообщения, во многом таким же образом, что мобильные телефоны в настоящее время Компромисс качество передачи голоса с полосой пропускания.