Курсовая теория на тему Энтропийный подход к измерению информации

Содержание:

ВЕДЕНИЕ 3
1 Понятие «информация», определения и трактование термина 5
2 Подходы измерения количества информации 11
2.1 Классический, энтропийный подход 11
2.2 Алгоритмический подход 14
2.3 Образный подход 16
3 Примеры применения энтропийного подхода 19
ВЫВОДЫ 28
ЛИТЕРАТУРА 29

Введение:

В теории информации основным понятием является понятие количества информации как функции по отношению возможных состояний системы до получения и после получения информации о ней, взятой в логарифмическом масштабе с целью обеспечения свойства аддитивности информации. Несмотря на появления новых определений этого понятия, согласно теории алгоритмов и методов теории распознавания образов, которые позволяют решить некоторые частичные прикладные задачи, классическое определение остается актуальным и методы этой теории с успехом применяются к проблемам кодирования информации, связи, нечеткой логики, компьютерной техники.
Эта теория полезна с точки зрения формулировки правил и четкого определения, что в ее пределах можно, а чего нельзя сделать. В частности, невозможно в рамках этой классической теории информации исследовать процесс мышления, поскольку не рассматривается оценка информации человеком. Любая физическая система не полностью определена. Располагая данными о некоторых макроскопических переменных системы, невозможно точно определить состояния и скорости всех атомов, образующих систему.
Степенью неопределенности состояний системы является понятие энтропии. Энтропия выражает количество отсутствующей информации о ультрамикроскопической структуре системы. Эти два понятия «количество информации» и «энтропия» следует рассматривать и трактовать совместно. Эта мысль сформулирована как негэнтропийный принцип информации в работе[1]. Суть этого принципа сводится к утверждению: получение информации о системе связано с уменьшением ее энтропии, насколько уменьшится энтропия системы, настолько возрастет информация о ней. С этой позиции информацию можно обозначить как негативную энтропию системы.
Объектом исследования курсовой работы является информация и ее характеристики (количество, качество)
Предметом исследования являются методы измерения информации, и, в частности, в работе необходимо детально рассмотреть энтропийный подход к измерению информации.
В работе можно определить следующие задачи:
рассмотреть понятие (термин) «информация» и способы его (термина) трактовки различными ученными;
рассмотреть подходы оценки количества информации, проанализировать их преимущества и недостатки;
проиллюстрировать практически применение энтропийного подхода на примере конкретного информационного набора.

Заключение:

Трудно переоценить ту роль, которую играет в развитии современного общества информация. Можно без преувеличения сказать, что современное общество обществом информации, ее эрой, эта эра наступила с началом ХХ века
Информация позволяет человечеству активно работать с природой, помогает провести интеграцию человеческих усилий. Причем не только в определенных отраслях, а во всей человеческой деятельности в целом. Сейчас информация стала основным ресурсом человечества, базой социального и технического развития.
Сегодня существует ряд подходов для оценки количества информации. В то же время классический энтропийный подход, в основе которого лежат работы Хартли и Шеннона до сих пор успешно используется. Хотя подход и имеет свои недостатки, его применение дает возможность решить ряд прикладных задач.
Работа состоит из трех разделов основной части. В первом разделе кратко охарактеризовано само понятие «информация» и способы трактовки этого понятия.
Во втором разделе приведены основные моменты и подходы оценки количества информации, рассмотрены их преимущества и недостатки
Последний раздел посвящен особенностям применения энтропийного подхода. В разделе проиллюстрированы примеры применения данного подхода к ряду прикладных задач.

Фрагмент текста работы:

Понятие «информация», определения и трактование термина
В наше время проблемы информации одни из самых популярных и исследуемых проблем в науке. С созданием теории информации ссылки на эту проблему можно встретить в трудах ученых самых разных специальностей.
Проблемы информации исследуют инженеры, историки, биологи, социологи, журналисты и представители многих других отраслей науки. Некоторые рассматривают информацию «как социальное явление, то есть определенный феномен, связанный с деятельностью тех или иных субъектов социальных сообществ (например, групп) или социальных институтов (например, учреждений и организаций, которые функционируют в обществе)».
Надо заметить, что информация является глобальной проблемой современности, поскольку именно от нее зависит развитие общества. Кроме того, информационное взаимодействие различных групп человечества важнейшая форма социального взаимодействия. Именно от этого зависит общественный прогресс. Информационный фактор в последние годы вызвал революционные изменения.
Сейчас весь мир включен в единую информационную систему, причем она работает практически в режиме реального времени. Информация для человечества является не только условием, но и стимулом к действию, дезинформация и информационный хаос вызывают чувство неуверенности и бессилия. Большую роль в самочувствии общества играет также степень удовлетворения потребности в информации. В нездоровом обществе, как правило, есть чувство информационного голода.
Наиболее обобщенным определением информации является ее трактовка: «как отражение разнообразия, которое позволяет рассматривать в рамках общей концепции и информацию в неживой природе, связанную с понятием упорядоченности, структуры, организации и информацию во всех кибернетических системах (биологических, механических, наконец, социальных), прежде всего связанную с понятием управления». Другие ученые считают, что «информация это знания, но не все знание, которое имеет человечество, а только та его часть, которая используется для ориентации, для активного действия, для управления». Действительно, это знание, которое не вошло в обиход, нельзя считать информацией, потому что им не пользуются другие члены общества, оно к ним не дошло и не может дойти.