Курсовая с практикой на тему Вопросно-ответные системы

Содержание:

ГЛАВА 1. ВОПРОСНО-ОТВЕТНЫЕ СИСТЕМЫ 5
1.1 Основные принципы работы вопросно-ответных систем 5
1.2 Виды вопросно-ответных систем 7
1.3 Этапы работы вопросно-ответных систем 8
1.3.1 Анализ вопроса 9
1.3.2 Информационный поиск 17
1.3.3 Извлечение ответа 19
1.4 Выводы по главе 1 22
ГЛАВА 2. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ПОИСКОВЫХ СИСТЕМ 23
Выводы по главе 2 29
ЗАКЛЮЧЕНИЕ 30
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 31
ОТЧЁТ О ПРОВЕРКЕ НА ПЛАГИАТ 33
РЕЦЕНЗИЯ………………………………………………………………….. 34

Введение:

каналов связи, повышение размера данных. Фактически в настоящее время сеть Интернет – один из важнейших элементов современной информацион-ной цивилизации, технологический, социальный и культурный феномен. Наличие телекоммуникационных сетей кардинально меняет процесс позна-ния, общения и практической деятельности человека.
В последнее время наблюдается тенденция увеличения информацион-ных запросов к поисковым системам. Целью выступает поиск сведений о ме-роприятии, явлении, дате, участке, фактору, результату либо предмете. Зна-чительная часть запросов этой категории запрашивается в вопросительной форме, используя подобные языковые системы, как «что это», «кто именно это», «точно это». Для решения обозначенной задачи – получение ответа на установленный вопрос, применяется вопросно-ответная система. Основная цель системы – предоставление пользователю краткого ответа на естествен-ном языке, вместо перечня сниппетов, по которым пользователю следует са-мому собрать информацию и на её основе подготовить ответ на заданный вопрос. К системам, решающим задачи подобного уровня относятся: IBM Watson, START, Exactus, Яндекс Объектный ответ, Google Knowledge graph.
Целью этой работы выступает изучение методов реализации современ-ных вопросно-ответных систем и их эффективность, а также определение лучшей мировой поисковой системы. Для достижения обозначенной цели в работе решались такие задачи:
– проведение исследования настоящей сфере вопросно-ответного поис-ка и имеющихся способов осуществлении вопросно-ответных концеп-ций;
– проведение анализа популярных поисковых систем мира и их срав-нение.

Заключение:

В этой курсовой работе в ходе решения обозначенных задач были до-стигнуты такие результаты:
– была изучена предметная область вопросно-ответного поиска и су-ществующих методик реализации вопросно-ответных систем;
– был осуществлён анализ популярных поисковых систем мире и про-изведено их сопоставление.
Период с 1999 по 2007 год оказался весьма насыщенным исследовани-ями в сфере вопросно-ответных систем. Скорее всего, это оказалось связано с наличием пространства для организации экспериментов и тестирования си-стем, предоставленного на конференциях серии TREC.
Проведённые исследования оказались довольно разнообразными, но все, в основном, были сконцентрированы на главных элементах вопросно-ответных систем: классификации вопросов, поиске документов и получении ответа, и использовании техник обработки естественного языка, информаци-онного поиска и извлечения информации соответственно.
Поисковые системы уже давно превратились в неотъемлемую часть Ин-тернета. Поисковые системы в настоящее время – это сложные и огромные механизмы, представляющие собой не только инструмент для поиска нуж-ных сведений, но и привлекательные сферы для бизнеса.
Системы, которые длительное время не внедряют новых компонентов и не оптимизируют уже существующие функции, со временем выводятся из ак-тивного использования пользователями.
Самой лучшей зарубежной поисковой системой по последним исследо-ваниям является Google, так как в ней первостепенное значение имеет точ-ность и полнота предоставляемых данных. Из многих отечественных поиско-виков можно выделить Рамблер и Яндекс, для них характерно постоянное обновление имеющихся баз данных, что позволяет обеспечить точность и актуальность предоставленной информации

Фрагмент текста работы:

Глава 1. Вопросно-ответные системы
1.1 Основные принципы работы вопросно-ответных систем

Вопросно-ответные концепции разрабатываются с целью извлечения пользователем ответов на предопределяемые проблемы в системе настоящего времени. Первоначально они формировались, для того чтобы обеспечить пользователям вероятность установить вопросы, что их привлекли. Анало-гичные вопросы соответственно должны опираться на хорошо высокострук-турированных комплектах информации, подобных как установленные обла-сти познаний [Simmons, 1965].
Ответы на аналогичные вопросы искались в хорошо структурирован-ных базах информации. В то же период вопросно-ответная концепция вы-двигала требование, чтобы указываемый вопрос точно отвечал формулиров-кам, содержащимся в основах информации. Для преуспевания во время по-иска ответа пользователю ранее обязано было быть известно, какая непо-средственно информация имеется в системе и каким способом эти данные структурированы ПК (персональным компьютером) [Clark et al., 2010, с. 631].
По суждению М.В. Мозгового, вопросно-ответная (диалоговая) кон-цепция считается программой, способной подвергнуть обработке внедрен-ный пользователем вопрос на естественном (английском, российском и т.д.) языке и распечатывать осознанный ответ. Отдельные интерактивные системы стремятся создать атмосферу полного «общения» между человеком и ком-пьютером в естественном языке. Бесспорно, на практике компьютеру вплоть до действительной «интеллектуальности» пока что весьма далеко. Но имеют-ся проблемы, в которых она и никак не понадобится. К примеру, чтоб предоставить результат на вопрос, установленный к отдельному тексту, по-требуется только знающее «разделение по полочкам» проблемы и установ-ление, какое непосредственно предложение текста содержит в себя результат [Мозговой, 2006, с. 116].
По суждению Д.В. Галкина, Е.В. Кондрушиной, К.С. Шиляева, целью формирования вопросно-ответной концепции полагалось не только исключи-тельно становление особенного механизма постановления на установленный вопрос, но и формирование метода общения пользователей с ПК с использо-ванием природного языка [Галкин и др., 2013, с. 61].
Одной из первых вопросно-ответных концепций стала SHRDLU. В ней пользователю предполагалось взаимодействие с роботом, при этом он мог задать вопрос роботу о различных предметах: от его прошлого вплотную до проектов робота на перспективу. Взаимодействие с ним выполнялось по-средством ввода печатного слова [Галкин и др., 2013, с. 61].
В настоящий момент деятельность базисной вопросно-ответной кон-цепции приобретает свое происхождение от предопределяемого вопроса, а завершается заключением ответа или перечня ответов.
В труде вопросно-ответных концепций для общения с юзерами приме-няется естественный язык. Однако возможности вопросно-ответных концеп-ций не станут безграничными, во взаимосвязи с этим применяется ограни-ченное подмножество природного языка. Как определил В.А. Житко, для безусловно-языкового пользовательского интерфейса вопросно-ответных концепций способен применяться ограниченный комплект грамматики и лек-сики, в отсутствии значительного вреда функциональности вопросно-ответной концепции. В такого рода ситуации нужно говорить об узком под-множестве естественного языка.
Ограниченный естественный язык считается подмножеством естествен-ного языка, документ на котором, в отсутствии каких-нибудь усилий, прини-мается носителем начального естественного языка, а также не потребует про-должительного изучения для извлечения способностей формирования слов такого языка, но имеет уменьшенным комплектом грамматики и лексики. Это сможет помочь уменьшить время на обрабатывание естественно-языковых конструкций, а кроме того устранить часть языковедческой неоднозначности [Житко, 2011, с. 396].

1.2 Виды вопросно-ответных систем

Относительно все концепции вопросно-ответного поиска, возможно, разделить на такие категории: общие, специальные (ограниченного направ-ления). Первый вид вопросно-ответных концепций применяется для обраба-тывания разных вопросов либо, по наименьшей мере, главной части их ти-пов. В то же время специальные концепции нацелены на обрабатывание во-просов ограниченной тематики, то есть вопросов по определенной предмет-ной сфере (искусства, медицины и т.д.). Кроме того эти категории могут от-личаться и способом поиска информации. В виде источника сведений общие концепции больше всего применяют огромный корпус документов или сеть Интернет. Специальные концепции могут применять собственную особенную локальную коллекцию документов на проблему установленной настоящей области. Общие концепции из-за того, что нередко они возделывают не-структурированные сведения, обладают достаточно непростую внутреннюю структуру и применяют различные технологические процессы обрабатыва-ния естественных языков. Далее приведено изучение и исследование имею-щихся методов реализации вопросно-ответных концепций с учётом подоб-ных важных характеристик, как метод информационного поиска, наличие и тип информативной основы данных, необходимость в привлечении специа-листов настоящей области, вычислительная трудность работы, строительная эластичность концепции.
Подходы к реализации, а кроме того принципы развития вопросно-ответных концепций возможно разделить на такие категории:
1. вопросно-ответные концепции, базирующиеся на интернет-поиске (англ. «интернет-based question answering system»);
2. вопросно-ответные концепции со своей размеченной коллекцией до-кументов;
3. вопросно-ответные концепции с основой информации, содержащей в себе проблемы и решения на них;
4. вопросно-ответного концепции экспертного вида.
1.3 Этапы работы вопросно-ответных систем

Установлено, что процедура работы вопросно-ответной концепции протекает в несколько этапов:
1. стадия выполнения рассмотрения проблемы, что ввёл пользователь;
2. стадия поиска информации;
3. стадия получение решения.
Как определено в труде Н.З. Агаева [Агаев, 2012, с. 8], на начальном этапе юзер вводит вопрос на естественном языке, и затем производится пер-вичная переработка и формализация предписания разными анализаторами (синтаксическим, смысловым, морфологическим), теория определяет его подходящие качества для последующего их использования. На второй ста-дии происходит подбор и реализация рассмотрения документов – теория увлекается поиском документов и их элементов, в которых способен быть ре-зультат на начальный вопрос. Третья стадия — получение решения, то есть концепция извлекает из текстовых документов либо их элементов единичные фразы, предписания или части слова, которые возможно могут являться ре-шением.
Необходимо выделить, что особенное значение в итогах и разработке обладает использование различных словарей-тезаурусов. Применение этих словарей позволяет найти решение проблему определения видов сущностей для установления ответов, нахождение первоначальной формы слов с целью применения их в искательских запросах. Помимо того эти словари применя-ются для розыска синонимов слов.
Практически все вопросно-ответные системы допустимо разделить на 3 модуля (рис.1) [Агаев, 2012, с. 9]:
1. модуль обработки вопроса;
2. модуль розыска документов и извлечения текстовых частей;
3. модуль формулировки и извлечения ответа.
На последующем рисунке показана обычная модель деятельности во-просно-ответной концепции: