Пень решения - Википедия - Decision stump

Пример пня решения, который различает два из трех классов Набор данных о цветке ириса: Ирис разноцветный и Ирис вирджиника. Ширина лепестка в сантиметрах. Этот конкретный пень обеспечивает точность 94% в наборе данных Iris для этих двух классов.

А пень решения это машинное обучение модель, состоящая из одноуровневой Древо решений.[1] То есть это дерево решений с одним внутренним узлом (корнем), которое непосредственно связано с конечными узлами (его листьями). Пень для принятия решения делает прогноз, основанный на значении только одной входной функции. Иногда их еще называют 1-правила.[2]

В зависимости от типа входа особенность, возможно несколько вариантов. Для номинальных характеристик можно построить пень, содержащий лист для каждого возможного значения характеристики.[3][4] или пень с двумя листьями, один из которых соответствует какой-то выбранной категории, а другой лист - всем остальным категориям.[5] Для двоичных функций эти две схемы идентичны. Отсутствующее значение можно рассматривать как еще одну категорию.[5]

Для непрерывных функцийобычно выбирается какое-то значение порогового признака, а на пне два листа - для значений ниже и выше порога. Однако в редких случаях можно выбрать несколько пороговых значений, и поэтому пень содержит три или более листа.

Пни решения часто[6] используются в качестве компонентов (называемых «слабыми учениками» или «базовыми учениками») в ансамбль машинного обучения методы, такие как упаковка и повышение. Например, ультрасовременный[ласковые слова ] Виола – Джонс алгоритм распознавания лиц использует AdaBoost с пнями принятия решений как слабые ученики.[7]

Термин «пень принятия решения» был придуман в 1992 году. ICML бумага Уэйна Ибы и Пэта Лэнгли.[1][8]

Смотрите также

Рекомендации

  1. ^ а б Иба, Уэйн; и Langley, Pat (1992); Индукция одноуровневых деревьев решений, в ML92: Материалы девятой международной конференции по машинному обучению, Абердин, Шотландия, 1–3 июля 1992 г., Сан-Франциско, Калифорния: Морган Кауфманн, стр. 233–240.
  2. ^ Холте, Роберт С. (1993). «Очень простые правила классификации хорошо работают с наиболее часто используемыми наборами данных»: 63–91. CiteSeerX  10.1.1.67.2711. Цитировать журнал требует | журнал = (помощь)
  3. ^ Лопер, Эдвард Л .; Птица, Стивен; Кляйн, Юэн (2009). Обработка естественного языка с помощью Python. Севастополь, Калифорния: О'Рейли. ISBN  978-0-596-51649-9. Архивировано из оригинал на 2010-06-18. Получено 2010-06-10.
  4. ^ Этот классификатор реализован в Weka под именем OneR (для «1 правила»).
  5. ^ а б Это реализовано в Weka с РешениеПень классификатор.
  6. ^ Рейзин, Лев; и Шапир, Роберт Э. (2006); Как увеличение маржи может также повысить сложность классификатора, в ICML′06: Материалы 23-й международной конференции по машинному обучению, стр. 753-760
  7. ^ Виола, Поль; и Джонс, Майкл Дж. (2004); Надежное обнаружение лица в реальном времени, Международный журнал компьютерного зрения, 57 (2), 137–154.
  8. ^ Оливер, Джонатан Дж .; и Рука, Дэвид (1994); Усреднение по пням решения, в Машинное обучение: ECML-94, Европейская конференция по машинному обучению, Катания, Италия, 6–8 апреля 1994 г., Труды, Lecture Notes in Computer Science (LNCS) 784, Springer, pp. 231–241. ISBN  3-540-57868-4 Дои:10.1007/3-540-57868-4_61
    Цитата: «Эти простые правила, по сути, сильно сокращают деревья решений и получили название пни решения [цитирует Ибу и Лэнгли] ".