Эссе на тему Проблема обработки больших объемов данных и пути ее решения.

Заключение:

Таким образом, можно говорить о том, что «большие данные», на текущий момент, представляют собой один из основных двигателей развития информационных технологий. Данное направление, относительно новое для российского бизнеса, получило широкое распространение в странах Запада. Это обуславливается тем, что в век информационных технологий, особенно после бума социальных сетей, по каждому пользователю интернета стало накапливаться значительное количество информации, что в конечном счете дало развитие направлению Big Data.
Стоит заметить, что к рассмотренной в работе сфере относится обработка именно большого объема данных, который затруднительно обрабатывать традиционными способами.
Биг Дата дает нам беспрецедентные идеи и возможности, но также поднимает проблемы и вопросы, которые необходимо решить:
• Конфиденциальность данных – Big-Data, которую мы сегодня генерируем, содержит много информации о нашей личной жизни, на конфиденциальность которой мы имеем полное право. Все чаще и чаще нас просят найти баланс между количеством персональных данных, которые мы раскрываем, и удобством, которое предлагают приложения и услуги, основанные на использовании «больших данных».
• Защита данных — даже если мы решаем, что нас устраивает то, что у кого-то есть наши данные для определенной цели, можем ли мы доверять ему сохранность и безопасность наших данных?
• Дискриминация данных — когда вся информация будет известна, станет ли приемлемой дискриминация людей на основе данных из их личной жизни? Мы уже используем оценки кредитоспособности, чтобы решить, кто может брать деньги, и страхование тоже в значительной степени зависит от данных. Нам стоит ожидать, что нас будут анализировать и оценивать более подробно, однако следует позаботиться о том, чтобы это не усложняло жизнь тех людей, которые располагают меньшими ресурсами и ограниченным доступом к информации.
• Выполнение этих задач является важной составляющей Big Data, и их необходимо решать организациям, которые хотят использовать такие данные. Неспособность осуществить это может сделать бизнес уязвимым, причем не только с точки зрения его репутации, но также с юридической и финансовой стороны.
Методика обработки сложных событий предполагает онлайн-обработку информации из различных источников, зависящей от времени. К примеру, информации о местоположении сотовых телефонов или данных от систем датчиков для прогнозирования, выделения или классификации интересующих событий. В частности, данные, поступающие от датчиков, могут лечь в основу предсказания сбоя оборудования, даже если они кажутся совершенно не связанными друг с другом. Обрабатывать сложные события в больших объемах данных можно с помощью технологии MapReduce, разделяя информацию на порции, не связанные друг с другом. К примеру, данные датчиков для каждого участка оборудования могут передаваться для обработки на отдельный узел. 

Фрагмент текста работы:

Понятие данных и данных Big Data
Термин Big Data появился в 2008 году. Впервые его употребил редактор журнала Nature — Клиффорд Линч. Он рассказывал про взрывной рост объемов мировой информации и отмечал, что освоить их помогут новые инструменты и более развитые технологии . Под термином «большие данные» буквально понимается огромный объем хранящейся на каком-либо носителе информации. Причем данный объем настолько велик, что обрабатывать его посредством привычных программных или аппаратных средств нецелесообразно, а в определённых случаях невозможно. Иными словами, «большие данные» (Big Data) — это общее название для структурированных и неструктурированных данных огромных объемов, эффективно обрабатывающихся посредством масштабируемых программных инструментов.
Большие данные непрерывно накапливаются практически в любой сфере жизни человека. Сюда входит любая отрасль, которая связана или с человеческими взаимодействиями, или с проведением вычислений. Это и социальные медиа, и медицина, и банковская сфера, а также системы устройств, получающие многочисленные результаты ежедневных вычислений. К примеру, астрономические наблюдения, метеорологические сведения и информация с устройств зондирования Земли. Можно говорить о том, что основными источниками больших данных являются:
• Интернет — социальные сети, всевозможные блоги, СМИ, форумы, сайты, интернет вещей (IoT),
• Корпоративные данные — это транзакционная деловая информация, базы данных, архивы,
• Показания устройств, то есть датчиков, приборов, а также метеорологические данные, данные сотовой связи и пр.
Когда говорят об обработке больших объемов данных (или технологии Big Data), как правило, имеют ввиду «VVV» — три признака, которыми большие данные должны обладать:
• Volume — объем (данные измеряются по величине физического объема документов).
• Velocity — данные регулярно обновляются, что требует их постоянной обработки.
• Variety — разнообразные данные могут иметь неоднородные форматы, быть неструктурированными или структурированными частично.
В России под «Big Data» подразумевают также технологии обработки, а в мире — только сам объект исследования.