Курсовая с практикой на тему Энтропия сложного опыта

Содержание:

Содержание 2
Введение 3
1 Теоретический анализ энтропии сложного опыта 6
1.1 Энтропия как мера неопределенности 6
1.2 Свойства энтропии 10
1.3 Условная энтропия 13
2 Разработка учебного проекта 18
2.1 Визитная карточка проекта 18
2.2 Решение задач на условную энтропию 25
2.3 Тестовые задания 31
Заключение 35
Список использованных источников 36

Введение:

Термин «информация» происходит от латинского informatio, что означает разъяснение, осведомление, изложение. Информация есть отражение реального мира с помощью сведений (сообщений).
В последние годы активно развивается информатизация общества. Широко внедряюися во все сферы жизни цифровые технологии, базирующиеся на понятии информации и методов ее обработки. Информатизация рассматривается как процесс создания, развития и всеобщего применения информационных средств и технологий. Результатом внедрения цифровых технологий и информатизации является улучшение качества жизни в обществе, условий и содержания труда.
Научным фундаментом процесса информатизации является научная дисциплина – теоретическая информатика.
Вопросы теории информации и энтропии являются разделом теоретической информатики. Учебный проект «Энтропия сложного опыта» преследует следующие цели:
• осуществить четкое изложение основных понятий данного раздела курса теории инфорации;
• рассмотреть математические основы информатики как инструмент для решения прикладных задач;
• сформировать у учащихся представление о прикладных аспектах дисциплины,
• сформировать фундамент для дальнейшего изучения вопросов теории информации.
Представленные разделы курса могут быть использованы как учителями, так и учащимися при самостоятельной работе.
Цели курса «Энтропия и информация»
• Формирование логического мышления и развитие математических знаний и навыков;
• Применение полученных знаний и навыков для решения практических задач;
• Создание простых моделей реальных процессов и явлений, учитывающих вероятностный характер используемых закономерностей;
• Разработка и использование алгоритмов для оценки информативности и предсказуемости процессов и явлений;
• Решение расчетных и логических задач с применением понятия информации и энтропии;
Для достижения поставленных целей необходимо решить следующие задачи:
• Дать учащимся представление об элементах теории вероятностей и дискретной математики, их возможностях;
• Дать учащимся представление о возможностях измерения и сравнения неопределенностей в различных ситуациях;
• Дать определение новым математическим понятиям энтропии и количества информации;
• Показать зависимость степени неопределенности от числа равновероятных исходов некоторого опыта;
• Покзать наличие связи количества информации и меры неопределенности;
• Показать способы построения рассуждений и выводов с использованием ориентированного графа и кодового дерева;
• Показать возможности алгебраического и графического методов для решения классических задач: задач о лжецах, на взвешивание и др.;
• Составить комплекс расчетных и логических задач, решаемых методом подсчета энтропии и количества информации.
В результате освоения данного курса ученик должен научиться:
• Оценивать вероятность и степень неопределенности (энтропию) для простых и сложных случайных событий;
• Оценивать степень неопределенности на базе вероятность случайного события (известной или найденой);
• Выполнять простейшие вычисления и преобразования, связанные с логарифмами по основанию 2;
• Сравнивать события по величине их неопределенности;
• Оценивать количество информации об опыте для оптимизации его результатов;
• Применять полученные умения и навыки для решения расчетных и логических задач различными методами (алгебраическим или графическим).
Актуальность программы определяется необходимостью осознания учащимися связи теории вероятностей, теории информации, алгебры с задачами и ситуациями из практики. Курс предполагает освоение широкого понятийного аппарата, знакомство с определениями различной логической структуры, использовать определения для выполнения логических рассуждений, развитие умения сопоставлять объекты и абстрактные понятия. На базе теоретических и практических материалов курса школьникам предоставляется возможность быстро и с относительно небольшими усилиями проследить процесс обобщения понятий.
Развитие умений оперировать абстрактными объектами, анализировать, выявлять закономерности, обобщать, логически мыслить, ставить и разрешать проблемы способствует быстрому усвоению знаний. Следовательно, рассматриваемый курс должен помочь школьникам овладеть навыками исследовательской деятельности, способствовать развитию творческого мышления.

Заключение:

В данной работе представлены теоретические материалы по теме «Энтропия сложного опыта», приведен разбор решения стандартных задач, а также набор тестовых задач для самостоятельного решения. Кроме того, в работе приведена визитная карточка проекта и разработка методики проведения занятия по теме «Энтропия сложного опыта».
Относительно условной энтропии можно высказать следующие утверждения:
1. Условная энтропия всегда является неотрицательной величиной. Условная энтропия равна нулю только тогда, когда любой исход первого опыта полностью определяет исход второго опыта.
2. Если оба опыта (α и β) независимы, то H_α (β)=H(β), при этом 0≤H_α (β)≤H(β). При этом условная энтропия не превосходит безусловную.
Если опыты независимы, опыт α не оказывает влияния на исход и энтропию опыта β. Если опыты зависят друг от друга, известный исход первого опыта может понижать энтропию второго опыта (то есть повышать определенность).
3. Из приведенных выше соотношений следует, что H(α∧β)=H(α)+H_α (β)≤H(α)+H(β), причем равенство реализуется только при независимости опытов α и β

Фрагмент текста работы:

Основные сведения по рассматриваемому проекту широко изложены в литературе [1-7].
Случайные события описываются на базе понятия «вероятность». Закономерности теории вероятностей обеспечивают оценку как вероятностей единчных случайных событий, так и вероятностей для вариантов исхода сложных событий, которые включают несколько независимых или взаимосвязанных друг с другом событий. 
Описание случайных событий возможно не только в терминах теории вероятностей.
Неопределенность исхода опыта, в котором может происходить рассматриваемое событие, приводит к рассмотрению его, как случайного, с определенной вероятностью реализации одного из исходов опыта. 
Для различных ситуаций степень неопределенности также различна. Например, рассмотрим совокупность студентов 1-го курса дневного отделения ВУЗа. Пусть опыт состоит в определении возраста случайно выбранного студента. Можно с высокой степенью уверенности утверждать, что возраст этого студента менее 30 лет. С куда меньшей уверенностью можно утверждать, что возраст выбранного студента окажется менее 17 лет. Следовательно, имеется существенная неопределенность в исходе этого опыта.
Для практических целей желательно осуществлять количественную оценку неопределенности исхода для разных опытов. Рассмотрим вариант введения этой количественной меры неопределенности.
Пусть опыт имеет   равновероятных исходов (это достаточно простая ситуация). В данном случае мера неопределенности является функцией числа исходов  , так как неопределенность каждого опыт зависит от  .
Укажем основные свойства этой функции:
• , так как при   исход опыта не является случайным и, следовательно, неопределенность отсутствует;
•   растет по мере роста  , поскольку с увеличением количества возможных исходов предсказание результатов опыта становится все более затруднительным.
Определим функцию   в явном виде. Для этого маленькими греческими буквами  ,  (и т.д.) обозначим опыты со случайными исходами. Латинскими заглавными буквами  ,   (и так далее) обозначим возможные события (исходы опытов).
Зададимся двумя независимыми опытами   и   с количествами равновероятных исходов, равных    и    соотв. 
Рассмотрим сложный опыт, в котором одновременно выполняются опыты   и  . Общее количество его возможных исходов составит   (исходы равновероятны). Неопределенность исхода такого сложного опыта   окажется больше как неопределенности отдельного опыта  , так и неопределенности отдельного опыта  . Для сложного опыта   его неопределенность обозначим  . Для отдельных опытов   и   оценки неопределенности обозначим, как   и   соответственно. При реализации сложного опыта   реализуются совместные события и проявляется их суммарная (общая) неопределенность. Опыты   и   независимы, поэтому при реализации сложного опыта не могут как-либо влиять друг на друга. Из независимости отдельных опытов следует, что мера суммарной неопределенности равна сумме мер неопределенности каждого из рассматриваемых опытов. Следовательно, мера неопределенности аддитивна:
. (1.1)
Необходимо подобрать явный вид функции  , чтобы она удовлетворяла следующему набору свойств:
• ;
•   растет по мере роста-  ;
• .
Указанным набором свойств обладает логарифмическая функция  . Более того, это единственная функция из всех существующих классов с необходимым набором свойств.
Следовательно, в качестве меры неопределенности опыта с   равновероятными исходами можно принять число, равное  . 
Выбор основания логарифма непринципиален, так как логарифм легко преобразуется от одного основания к другому по известной формуле:
.
Удобным основанием оказалось число 2. При использовании этого основания за единицу измерения неопределенности принимается неопределенность реализации опыта, имеющего два равновероятных исхода:  , следовательно  . Таким образом, изменение значения основания логарифма связано с выбором единицы измерения неопределенности. 
Единица измерения неопределенности называется битом.
1 бит – это неопределенность, заключенная в опыте с двумя равновероятными исходами.
Следовательно, для описания неопределенности исхода опыта получен явный вид функции (для опыта с   равновероятными исходами):