Реферат на тему Интеллектуальный анализ данных (BIG DATA, Data Scince)

Содержание:

Введение 3
1 ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ (BIG DATA, DATA SCIENCE) 4
1.1 Общие представления об интеллектуальном анализе данных 4
1.2 Big Data 5
1.3 Data Science 7
Заключение 16
Список литературы 17

Введение:

В результате развития информационных технологий количество данных, накопленных в электронном виде, растет быстрыми темпами.
Эти данные существуют в различных форматах: тексты, изображения, аудио, видео, гипертекстовые документы, реляционные базы данных и т.д.
Однако, подавляющая часть доступной информации не несет для конкретного человека какой-либо пользы, так как он не в состоянии переработать такое количество сведений.
Возникает проблема извлечения полезной для пользователя информации из большого объема данных .
Данное обстоятельство дало начало такой технологии, как интеллектуальный анализ данных (Data Mining). Сейчас Data Mining одна из активно развивающихся областей информационных технологий, предназначенных для выявления полезных знаний из баз данных различной природы.
Целью реферата является обзор теоретических основ интеллектуального анализа данных.
Объектом исследования являются цифровые данные.
Предметом исследования интеллектуальных анализа данных.
Для решения поставленной цели, были сформулированы следующие задачи:
— дать общие представления об интеллектуальном анализе данных;
— дать понятие big data, рассмотреть особенности их обработки, сферы применения;
— дать понятие data science;
— рассмотреть теоретические основы таких областей data science, как:
а) machine learning;
б)deep learning.

Заключение:

В связи с совершенствованием технических средств для получения, записи и хранения информации на специалистов обрушились колоссальные потоки разнородных данных. Вместе с тем традиционная математическая статистика оказалась неспособной обеспечить продуктивное решение ряда актуальных задач из различных предметных областей (поиск закономерностей в многомерных данных, построение диагностических и прогностических моделей, выявление сложных непериодических паттернов в динамических рядах и др.). Одна из причин — концепция усреднения по выборке, приводящая к операциям над фиктивными величинами. Кроме того, практически отсутствуют аналитические критерии для оценки достоверности взаимосвязей и регулярностей в многомерных данных и др.
Направление Data Mining родилось как ответ на сложившуюся проблемную ситуацию. В настоящее время термин «Data Mining» (раскопка данных) является синонимом появившегося позже (1989) термина «обнаружение знаний в базах данных» (Knowledge Discovery in Databases — KDD). В русском языке область, очерченная вышеупомянутыми терминами, нередко обозначается словосочетанием «интеллектуальный анализ данных» (ИАД).
Анализируя понятие интеллектуального анализа данных, можно сделать вывод, что оно включает в себя две основные составляющие:
— необработанные данные (BIG DATA);
— методы (Data Science), при помощи которых из необработанных данных, может быть получена полезная и нетривиальная информация.
В реферате даны характеристики вышеперечисленных двух составляющих, а также технологий и методов, специфичных для каждой составляющей

Фрагмент текста работы:

Под интеллектуальным анализом данных (Data Mining) понимается процесс обнаружения в необработанных, или «сырых, данных фрагментов, которые представляют собой совокупность неинтерпретируемых, нетривиальных данных, которые могут быть необходимы для принятия решения в какой-либо сфере человеческой деятельности.
Поясним понятие «сырых» данных (raw data), под которыми имеются в виду необработанные данные, над изменением объема которых не производились никакие действия.
Основой интеллектуального анализа данных является методология, называется «Обнаружение знаний в базах данных» (knowledge discovery in databases – KDD).
Данная методология представляет собой мультидисциплинарную область, основанную на следующих науках:
— теория баз данных;
— теория искусственного интеллекта;
— математическая статистика.
Основные типы закономерностей, получаемые посредством применения к необработанным данным методов Data Mining, представлены на рисунке 1 .

Таким образом, анализируя понятие интеллектуального анализа данных, можно сделать вывод, что оно включает в себя две основные составляющие:
— необработанные данные (BIG DATA);
— методы (Data Science), при помощи которых из необработанных данных, может быть получена полезная и нетривиальная информация.
Далее дадим характеристики каждой из этих составляющих.

1.2 Big Data

Впервые термин «Big Data» был упомянут редактором журнала «Nature» Клиффордом Линчем в 2008, когда речь шла о значительном росте мирового объема информации.
Следует отметить, что большие объема данных существовали и прежде, однако, до Линча их никто не синхронизировал с определенным понятием.
Сейчас, данный термин и само явление достаточно популярны. Специалисты в данной области считают, что к «Big data» могут быть отнесены данные, поток которых превышает 100 Гб в день.
Применение Big Data в сферах человеческой деятельности достаточно обширно – от оптовой торговли до деятельности банков и мировых корпораций.
Исходя из определения Big Data, следует, что не все методы обработки информации, известные доселе, могут быть применены к ним, так как требуют учета своих размеров и сложностей вычислительных процедур.
Наиболее часть используемый подход при обработке данных большого объема можно охарактеризовать, как распределение данных по вычислительным узлам (горизонтальная маcштабируемость).
Такое распределение, позволяет свести big data к нескольким фрагментам данных и существенно увеличить скорость обработки.
В 2001 году компанией Meta Group были выделены определяющие характеристики big data, носящие название «3V».
Это:
— величина физического объема (volume);
— скорость обработки данных для получения результата (velocity);
— возможность одновременного обрабатывания различных типов данных (variety).

На сегодняшний момент времени, определены следующие техники и методы анализа данных, относящихся к Big Data (по McKinsey)