Магистерский диплом (ВКР) на тему Исследование и разработка программных модулей анализа данных для платформы Django.

Содержание:

АННОТАЦИЯ.. 2

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ.. 3

ВВЕДЕНИЕ.. 5

1. ИССЛЕДОВАТЕЛЬСКАЯ ЧАСТЬ. 7

1.1. Обоснование необходимости
автоматического анализа данных. 7

1.2. Что такое Data Mining и его связь с
аналитикой. 12

1.3. Применение искусственного
интеллекта в автоматизации данных. 16

1.4. Виды данных для работы с
машинным обучением ИИ.. 20

2. ИССЛЕДОВАНИЕ ПРЕДМЕТНОЙ ОБЛАСТИ.. 24

2.1 Структура и свойства исходных
данных. 24

2.2 Методы анализа данных. 28

2.2.1 Кластеризация и
классификация в обучении нейронной сети. 28

2.2.2 Нейронная сеть и виды ее
обучения. 36

2.3 Процесс подготовки данных для
анализа. 46

3. РАЗРАБОТКА ПРОГРАММНЫХ МОДУЛЕЙ.. 49

3.1 Описание средств разработки. 49

3.2 Реализация проекта,
тестирование и анализ результата. 58

3.2.1 Обучение без учителя.
Постановка задачи. 58

3.2.2 Обучение с учителем.
Постановка задачи. 65

ЗАКЛЮЧЕНИЕ.. 69

БИБЛИОГРАФИЧЕСКИЙ СПИСОК.. 70

ПРИЛОЖЕНИЯ.. 72

Приложение 1 Этапы написания кода
на платформе Django. 72

Приложение 2 Код программы задачи
о переправе. 79

Приложение 3 Код задачи
классификации обучения нейронной сети. 80

Введение:

На сегодняшний день необходимость в разработке
программных модулей обусловливается целым рядом причин. Основной
причиной использования программных модулей является то, что многие приложения
должны одновременно выполнять несколько действий. Программирование таких
приложений упрощается за счет разделения на несколько последовательных модулей,
которые выполняются в псевдопараллельном режиме.

Также мы живем в век цифровой информации, и если раньше человечество
страдало от нехватки информации и способа доступа к ней, то теперь ситуация
обратная: информации настолько много, что она требует ежесекундного отбора,
анализа и структуризации. На первый план выходят такие отрасли, как аналитика
данных, автоматизация данных, управление данными с помощью искусственного
интеллекта.

Цель
исследования – провести подробный
анализ понятия науки о данных, исследовать область по сбору, хранению и
обработке данных; разобраться в определениях, что такое автоматизация данных,
какие виды данных бывают, способы автоматизации, как искусственный интеллект
упрощает жизнь пользователям, а также самостоятельно разработать программу,
используя фреймворк Django языка
программирования Python.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Обосновать необходимость автоматического анализа данных, дать понятие Data Mining и перечислить существующие модели, а также затронуть вопрос применения
искусственного интеллекта в работе с данными.

2. Перечислить основные преимущества языка программирования Python и обосновать его связь с данной тематикой.

3. Объяснить применение Django как основного фреймворка Python.

4. Составить описание предметной области: анализ данных и основные классы
решаемых задач, структура и свойства исходных данных, методы анализа данных,
процесс подготовки данных.

5. Непосредственная разработка самой программы: описание средств разработки,
реализация и тестирование проекта, анализ результата.

Объектом исследования является создание искусственного интеллекта на основе науки о данных,
применяя известный доступный фреймворк Django.

Предметом исследования являются особенности разработки компьютерных модулей и
программ анализа данных, применительно к машинному обучению на платформе Django.

В качестве методов исследования были выбраны метод анализа
(выделение и изучение отдельных частей явления), метод дедукции (принцип «от
общего – к частному»), метод классификации (группировка явлений по определенным
признакам). В практической части работы были использованы методы наблюдения,
эксперимента, сравнения.

Заключение:

Целью выпускной квалификационной работы была разработка
программных модулей на основе науки об анализе данных, применяя язык Python и, в качестве
дополнительной библиотеки, фреймворк Django. Для этого были рассмотрены базовые понятия технологии data mining, проведены
параллели между анализом данных и искусственным интеллектом, как одно помогает
исследовать другое, а затем более детально были рассмотрены несколько методов
решения классических задач из области Data Science. После были продемонстрированы
классические примеры задач и способы их решения. Первая задача была посвящена
обучению нейронной сети без учителя: классическая задача-головоломка про козу,
волка и капусту. Вторая задача предназначена для демонстрации работы нейронной
сети с учителем: построение собственной нейронной сети, обучение нейронной сети
теории вероятности предугадывания чисел в выборке. Далее был написан,
протестирован и проанализирован программный код.

Данная работа несет в себе также большой потенциал для
дальнейшего исследования и разработки новых программ, решающих задачи машинного
обучения, ведь данная область на сегодняшний день является относительно новой и
активно развивающейся, что способствует притоку идей и концепций.

Также данная работа полезна тем, что демонстрирует
основные методы работы со статистическими данными, а также реализацию этих
методов в прикладной программе обучения нейронной сети.

Таким образом можно подытожить, что цель работы
выполнена, все поставленные задачи решены.

Фрагмент текста работы:

1. ИССЛЕДОВАТЕЛЬСКАЯ ЧАСТЬ

1.1.
Обоснование необходимости автоматического анализа данных Современный анализ данных – это быстро развивающаяся
дисциплина, которая включает в себя множество знаний, полученных исторически в
разных предметных областях. Задачей анализа данных как дисциплины является
получение новых знаний для принятия управленческих решений в рассматриваемой
предметной области.

В настоящее время под анализом данных понимают три
специальные области работы с данными:

-. описательная аналитика (ее целью является отображение
и объяснение имеющихся данных);

-. прогностическая аналитика (ее целью является
прогнозирование данных);

-. предписывающая аналитика (данная предметная область
сосредоточена на выработке рекомендаций).

Они сложились на пересечении нескольких областей знаний и
объединяют данные и знания исследуемой предметной области, математики и
компьютерных наук. На рисунке 1.1 представлена общая модель, по которой была
сформирована наука о данных: