Реферат на тему Метод построения дерева решений

Содержание:

Введение. 2

Описание процесса
построения дерева решений. 3

Примеры построения дерева
решений. 5

Заключение. 10

Список используемой
литературы.. 11

Введение:

Деревья
решений являются одним из наиболее эффективных инструментов интеллектуального
анализа данных и предсказательной аналитики, которые позволяют решать задачи
классификации и регрессии.

Они
представляют собой иерархические древовидные структуры, состоящие из решающих
правил вида «Если …, то …». Правила автоматически генерируются в процессе
обучения на обучающем множестве и, поскольку они формулируются практически на
естественном языке (например, «Если объём продаж более 1000 шт., то товар
перспективный»), деревья решений как аналитические модели более вербализуемы и
интерпретируемы, чем, скажем, нейронные сети.

Поскольку
правила в деревьях решений получаются путём обобщения множества отдельных
наблюдений (обучающих примеров), описывающих предметную область, то по аналогии
с соответствующим методом логического вывода их называют индуктивными
правилами, а сам процесс обучения — индукцией деревьев решений.

В
обучающем множестве для примеров должно быть задано целевое значение, т.к.
деревья решений являются моделями, строящимися на основе обучения с учителем.
При этом, если целевая переменная дискретная (метка класса), то модель называют
деревом классификации, а если непрерывная, то деревом регрессии.

Основополагающие
идеи, послужившие толчком к появлению и развитию деревьев решений, были
заложены в 1950-х годах в области исследований моделирования человеческого
поведения с помощью компьютерных систем. Среди них следует выделить работы К.
Ховеленда «Компьютерное моделирование мышления» и Е. Ханта и др. «Эксперименты
по индукции»

Целью
данного реферата является изучение метода построения дерева решений.

Заключение:

Итак, метод
дерева решений применяется в задачах классификации и прогнозирования, когда
решения приходится принимать в условиях риска, неопределённости и исход событий
зависит от вероятностей. На каждое решение влияют какие-то определённые
факторы, и у каждого решения есть свои последствия, которым присущ вероятностный
характер. В этих условиях процесс принятия решений является последовательным и
метод дерева решений предполагает определять, какие действия следует
предпринять в каждой вершине дерева.

Дерево
решений — математическая модель, которая задаёт процесс принятия решений так,
что будут отображены каждое возможное решение, предшествующие и последующие
этим решениям события или другие решения и последствия каждого конечного
решения.

Модули
для построения и исследования деревьев решений входят в состав множества аналитических
платформ. Это удобный инструмент, применяемый в системах поддержки принятия
решений и интеллектуального анализа данных.

Успешнее
всего деревья применяют в следующих областях:

· Банковское дело. Оценка
кредитоспособности клиентов банка при выдаче кредитов.

· Промышленность. Контроль
качества продукции (обнаружение дефектов в готовых товарах), испытания без
нарушений (например, проверка качества сварки) и т.п.

· Медицина. Диагностика
заболеваний разной сложности.

· Молекулярная биология.
Анализ строения аминокислот.

· Торговля. Классификация
клиентов и товар.

Фрагмент текста работы:

Описание процесса
построения дерева решений

Основная
задача при построении дерева решений — последовательно и рекурсивно разбить
обучающее множество на подмножества с применением решающих правил в узлах. Но
как долго надо разбивать? Этот процесс продолжают до того, пока все узлы в
конце ветвей не станут листами.

Узел
становится листом в двух случаях [1]:

· естественным образом —
когда он содержит единственный объект или объект только одного класса;

· после достижения
заданного условия остановки алгоритм — например, минимально допустимое число
примеров в узле или максимальная глубина дерева.

В основе
построения лежат «жадные» алгоритмы, допускающие локально-оптимальные решения
на каждом шаге (разбиения в узлах), которые приводят к оптимальному итоговому
решению. То есть при выборе одного атрибута и произведении разбиения по нему на
подмножества, алгоритм не может вернуться назад и выбрать другой атрибут, даже
если это даст лучшее итоговое разбиение. Следовательно, на этапе построения
дерева решений нельзя точно утверждать, что удастся добиться оптимального
разбиения [4].

Популярные
алгоритмы, используемые для обучения деревьев решений, строятся на базе
принципа «разделяй и властвуй». Задают общее множество S, содержащее:

· n примеров, для каждого
из которых задана метка класса Ci(i = 1..k);

· m атрибутов Aj(j = 1..m),
которые определяют принадлежность объекта к тому или иному классу.

Тогда
возможно три случая:

Примеры множества S имеют одинаковую метку Ci,
следовательно, все обучающие примеры относятся к одному классу. В таком случае
обучение не имеет смысла, потому что все примеры в модели будут одного класса,
который и «научится» распознавать модель. Множество