Модель дерева решений - Википедия - Decision tree model

В вычислительная сложность то модель дерева решений это модель вычисления в котором алгоритм считается в основном Древо решений, т.е. последовательность запросы или же тесты которые выполняются адаптивно, поэтому результаты предыдущих тестов могут повлиять на выполнение следующего теста.

Как правило, эти тесты имеют небольшое количество результатов (например, вопрос типа да-нет) и могут быть выполнены быстро (скажем, с единичными вычислительными затратами), поэтому наихудшая временная сложность алгоритма в модели дерева решений соответствует глубина соответствующего дерева решений. Это понятие вычислительной сложности задачи или алгоритма в модели дерева решений называется его вычислительной сложностью. сложность дерева решений или же сложность запроса.

Модели деревьев решений играют важную роль в установлении нижняя граница за теория сложности для определенных классов вычислительных задач и алгоритмов. Было введено несколько вариантов моделей дерева решений в зависимости от вычислительная модель и тип алгоритмов запросов, которые разрешено выполнять.

Например, аргумент дерева решений используется, чтобы показать, что сортировка сравнения из ${ displaystyle n}$ предметы должны взять ${ Displaystyle п журнал (п)}$ сравнения. Для сортировки сравнения запрос представляет собой сравнение двух элементов. ${ displaystyle a, , b}$ , с двумя исходами (при условии, что нет одинаковых элементов): либо ${ displaystyle a$ или же ${ displaystyle a> b}$ . Сортировки сравнения могут быть выражены в виде дерева решений в этой модели, поскольку такие алгоритмы сортировки выполняют только эти типы запросов.

Деревья сравнения и нижние границы для сортировки

Деревья решений часто используются для понимания алгоритмов сортировки и других подобных проблем; это было впервые сделано Фордом и Джонсоном.^[1]

Например, многие алгоритмы сортировки виды сравнения, что означает, что они получают информацию только о входной последовательности ${ Displaystyle x_ {1}, x_ {2}, ldots, x_ {n}}$ через локальные сравнения: проверка того, ${ displaystyle x_ {i}$ , ${ displaystyle x_ {i} = x_ {j}}$ , или же ${ displaystyle x_ {i}> x_ {j}}$ . Если предположить, что все элементы, которые нужно отсортировать, различны и сопоставимы, это можно перефразировать как вопрос типа «да» или «нет»: is ${ displaystyle x_ {i}> x_ {j}}$ ?

Эти алгоритмы могут быть смоделированы как двоичные деревья решений, где запросы являются сравнениями: внутренний узел соответствует запросу, а дочерние узлы соответствуют следующему запросу, когда ответ на вопрос - да или нет. Для конечных узлов результат соответствует перестановка ${ displaystyle pi}$ это описывает, как входная последовательность была зашифрована из полностью упорядоченного списка элементов. (Обратный к этой перестановке, ${ displaystyle pi ^ {- 1}}$ , меняет порядок входной последовательности.)

Можно показать, что сортировки сравнения должны использовать ${ Displaystyle Омега (п журнал (п))}$ сравнения с помощью простого аргумента: чтобы алгоритм был правильным, он должен иметь возможность выводить все возможные перестановки ${ displaystyle n}$ элементы; в противном случае алгоритм потерпит неудачу для этой конкретной перестановки в качестве входных данных. Итак, соответствующее ему дерево решений должно иметь как минимум столько же листьев, сколько перестановок: ${ displaystyle n!}$ листья. Любое двоичное дерево с как минимум ${ displaystyle n!}$ листья имеют глубину не менее ${ Displaystyle журнал _ {2} (п!) = Омега (п журнал _ {2} (п))}$ , так что это нижняя граница времени выполнения алгоритма сортировки сравнения. В этом случае существование множества алгоритмов сравнения-сортировки, имеющих эту временную сложность, таких как Сортировка слиянием и heapsort, показывает, что граница жесткая.^[2]^:91

В этом аргументе ничего не говорится о типе запроса, поэтому он фактически доказывает нижнюю границу для любого алгоритма сортировки, который можно смоделировать как двоичное дерево решений. По сути, это перефразировка теоретико-информационная аргументация что правильный алгоритм сортировки должен изучить как минимум ${ Displaystyle журнал _ {2} (п!)}$ биты информации о входной последовательности. В результате это также работает и для рандомизированных деревьев решений.

В других нижних границах дерева решений используется то, что запрос является сравнением. Например, рассмотрим задачу использования только сравнений, чтобы найти наименьшее число среди ${ displaystyle n}$ числа. Прежде чем можно будет определить наименьшее число, каждое число, кроме наименьшего, должно «проиграть» (сравнить большее) хотя бы в одном сравнении. Итак, требуется как минимум ${ displaystyle n-1}$ сравнения, чтобы найти минимум. (Теоретико-информационные аргументы здесь дают только нижнюю оценку ${ Displaystyle журнал (п)}$ .) Аналогичное рассуждение работает для общих нижних оценок для вычисления статистика заказов.^[2]^:214

Линейные и алгебраические деревья решений

Линейные деревья решений обобщают приведенные выше деревья решений сравнения на вычислительные функции, которые принимают реальные векторов ${ Displaystyle х в mathbb {R} ^ {п}}$ как вход. Тесты в линейных деревьях решений являются линейными функциями: для определенного выбора действительных чисел ${ displaystyle a_ {0}, dots, a_ {n}}$ , выведите знак ${ displaystyle a_ {0} + textstyle sum _ {i = 1} ^ {n} a_ {i} x_ {i}}$ . (Алгоритмы в этой модели могут зависеть только от знака выходных данных.) Деревья сравнения - это линейные деревья решений, потому что сравнение между ${ displaystyle x_ {i}}$ и ${ displaystyle x_ {j}}$ соответствует линейной функции ${ displaystyle x_ {i} -x_ {j}}$ . Согласно своему определению, линейные деревья решений могут указывать только функции ${ displaystyle f}$ чей волокна можно построить, взяв объединение и пересечение полупространств.

Алгебраические деревья решений являются обобщением линейных деревьев решений, которые позволяют тестовым функциям быть полиномами степени ${ displaystyle d}$ . Геометрически пространство разделено на полуалгебраические множества (обобщение гиперплоскости).

Эти модели дерева решений, определенные Рабином^[3] и Рейнгольд,^[4] часто используются для доказательства нижних оценок в вычислительная геометрия.^[5] Например, Бен-Ор показал, что уникальность элемента (задача вычисления ${ displaystyle f: mathbb {R} ^ {n} to {0,1 }}$ , куда ${ displaystyle f (x)}$ равен 0 тогда и только тогда, когда существуют различные координаты ${ displaystyle i, j}$ такой, что ${ displaystyle x_ {i} = x_ {j}}$ ) требует алгебраического дерева решений глубины ${ Displaystyle Омега (п журнал (п))}$ .^[6] Впервые это было продемонстрировано Добкиным и Липтоном для линейных моделей решений.^[7] Они также показывают ${ Displaystyle п ^ {2}}$ нижняя оценка линейных деревьев решений для задачи о ранце, обобщенная на алгебраические деревья решений Стилом и Яо.^[8]

Сложности логического дерева решений

Для булевых деревьев решений задача состоит в том, чтобы вычислить значение n-битного Логическая функция ${ displaystyle f: {0,1 } ^ {n} rightarrow {0,1 }}$ для входа ${ Displaystyle х в {0,1 } ^ {п}}$ . Запросы соответствуют чтению бита ввода, ${ displaystyle x_ {i}}$ , а на выходе ${ displaystyle f (x)}$ . Каждый запрос может зависеть от предыдущих запросов. Существует много типов вычислительных моделей, использующих деревья решений, которые можно рассматривать, допуская несколько понятий сложности, называемых меры сложности.

Детерминированное дерево решений

Если на выходе дерева решений ${ displaystyle f (x)}$ , для всех ${ Displaystyle х в {0,1 } ^ {п}}$ , говорят, что дерево решений "вычисляет" ${ displaystyle f}$ . Глубина дерева - это максимальное количество запросов, которое может произойти до того, как будет достигнут лист и получен результат. ${ displaystyle D (f)}$ , то детерминированное дерево решений сложность ${ displaystyle f}$ наименьшая глубина среди всех детерминированных деревьев решений, которые вычисляют ${ displaystyle f}$ .

Рандомизированное дерево решений

Один из способов определить рандомизированное дерево решений заключается в добавлении в дерево дополнительных узлов, каждый из которых управляется вероятностью ${ displaystyle p_ {i}}$ . Другое эквивалентное определение - определить его как распределение по детерминированным деревьям решений. На основе этого второго определения сложность рандомизированного дерева определяется как наибольшая глубина среди всех деревьев, поддерживающих базовое распределение. ${ Displaystyle R_ {2} (е)}$ определяется как сложность рандомизированного дерева решений с наименьшей глубиной, результатом которого является ${ displaystyle f (x)}$ с вероятностью не менее ${ displaystyle 2/3}$ для всех ${ Displaystyle х в {0,1 } ^ {п}}$ (т.е. с ограниченной двусторонней ошибкой).

${ Displaystyle R_ {2} (е)}$ известен как Монте-Карло сложность рандомизированного дерева решений, потому что результат может быть неверным с ограниченной двусторонней ошибкой. В Лас Вегас сложность дерева решений ${ Displaystyle R_ {0} (е)}$ измеряет ожидал глубина дерева решений, которая должна быть правильной (т.е. иметь нулевую ошибку). Существует также версия с односторонней ограниченной ошибкой, которая обозначается ${ Displaystyle R_ {1} (е)}$ .

Недетерминированное дерево решений

Недетерминированная сложность дерева решений функции более известна как сложность сертификата этой функции. Он измеряет количество входных битов, которые недетерминированный алгоритм необходимо будет посмотреть, чтобы точно оценить функцию.

Формально сертификат сложности ${ displaystyle f}$ в ${ displaystyle x}$ это размер наименьшего подмножества индексов ${ Displaystyle S подмножество [п]}$ такое, что для всех ${ Displaystyle у в {0,1 } ^ {п}}$ , если ${ Displaystyle у_ {я} = х_ {я}}$ для всех ${ displaystyle i in S}$ , тогда ${ Displaystyle f (y) = f (x)}$ . Сложность сертификата ${ displaystyle f}$ максимальная сложность сертификата по всем ${ displaystyle x}$ Аналогичное понятие, в котором требуется, чтобы проверяющий был прав с вероятностью 2/3, обозначается ${ Displaystyle RC (f)}$ .

Квантовое дерево решений

Сложность квантового дерева решений ${ Displaystyle Q_ {2} (е)}$ - это глубина квантового дерева решений с наименьшей глубиной, которое дает результат ${ displaystyle f (x)}$ с вероятностью не менее ${ displaystyle 2/3}$ для всех ${ Displaystyle х в {0,1 } ^ {п}}$ . Другое количество, ${ Displaystyle Q_ {E} (е)}$ , определяется как глубина квантового дерева решений с наименьшей глубиной, которое дает результат ${ displaystyle f (x)}$ с вероятностью 1 во всех случаях (т.е. вычисляет ${ displaystyle f}$ точно). ${ Displaystyle Q_ {2} (е)}$ и ${ Displaystyle Q_ {E} (е)}$ более широко известны как сложность квантовых запросов, потому что прямое определение квантового дерева решений сложнее, чем в классическом случае. Как и в рандомизированном случае, мы определяем ${ displaystyle Q_ {0} (е)}$ и ${ Displaystyle Q_ {1} (е)}$ .

Эти понятия обычно ограничиваются понятиями степени и приблизительной степени. В степень из ${ displaystyle f}$ , обозначенный ${ displaystyle operatorname {deg} (f)}$ , является наименьшей степенью любого многочлена ${ displaystyle p}$ удовлетворение ${ Displaystyle е (х) = р (х)}$ для всех ${ Displaystyle х в {0,1 } ^ {п}}$ . В приблизительная степень из ${ displaystyle f}$ , обозначенный ${ displaystyle { widetilde { operatorname {deg}}} (е)}$ , является наименьшей степенью любого многочлена ${ displaystyle p}$ удовлетворение ${ Displaystyle р (х) в [0,1 / 3]}$ в любое время ${ displaystyle f (x) = 0}$ и ${ Displaystyle р (х) в [2 / 3,1]}$ в любое время ${ displaystyle f (x) = 1}$ .

Beals et al. установил, что ${ Displaystyle Q_ {0} (е) geq operatorname {deg} (f) / 2}$ и ${ Displaystyle Q_ {2} (е) geq { widetilde { operatorname {deg}}} (е) / 2}$ .^[9]

Связь между мерами сложности булевых функций

Непосредственно из определений следует, что для всех ${ displaystyle n}$ -битовые логические функции ${ displaystyle f}$ , ${ Displaystyle Q_ {2} (е) Leq R_ {2} (е) Leq R_ {1} (е) Leq R_ {0} (е) Leq D (f) Leq n}$ , и ${ Displaystyle Q_ {2} (е) Leq Q_ {0} (е) Leq D (е) Leq п}$ . Поиск лучших верхних границ в обратном направлении - основная цель в области сложности запросов.

Все эти типы сложности запроса полиномиально связаны. Блюм и Импальяццо,^[10] Хартманис и Хемачандра,^[11] и Тардос^[12] независимо обнаружил, что ${ Displaystyle D (е) leq R_ {0} (е) ^ {2}}$ . Ноам Нисан обнаружили, что сложность рандомизированного дерева решений Монте-Карло также полиномиально связана со сложностью детерминированного дерева решений: ${ Displaystyle D (е) = О (R_ {2} (е) ^ {3})}$ .^[13] (Нисан также показал, что ${ Displaystyle D (е) = О (R_ {1} (е) ^ {2})}$ .) Между моделями из Монте-Карло и Лас-Вегаса известны более тесные отношения: ${ Displaystyle R_ {0} (е) = O (R_ {2} (f) ^ {2} log R_ {2} (f))}$ .^[14] Это соотношение оптимально с точностью до полилогарифмических факторов.^[15] Что касается сложностей квантового дерева решений, ${ Displaystyle D (е) = О (Q_ {2} (е) ^ {4})}$ , и эта граница жесткая.^[16]^[15] Мидриджанис показал, что ${ Displaystyle D (е) = О (Q_ {0} (е) ^ {3})}$ ,^[17]^[18] улучшение оценки квартики из-за Beals et al.^[9]

Важно отметить, что эти полиномиальные соотношения справедливы только для общий Булевы функции. За частичные булевы функции, у которых есть домен подмножества ${ Displaystyle {0,1 } ^ {п}}$ , экспоненциальное разделение между ${ displaystyle Q_ {0} (е)}$ и ${ displaystyle D (f)}$ возможно; первый пример такой проблемы был обнаружен Дойч и Йожа.

Гипотеза о чувствительности

Для Логическая функция ${ displaystyle f: {0,1 } ^ {n} к {0,1 }}$ , то чувствительность из ${ displaystyle f}$ определяется как максимальная чувствительность ${ displaystyle f}$ общий ${ displaystyle x}$ , где чувствительность ${ displaystyle f}$ в ${ displaystyle x}$ это количество однобитовых изменений в ${ displaystyle x}$ которые меняют значение ${ displaystyle f (x)}$ . Чувствительность связана с понятием тотального влияния со стороны анализ булевых функций, что равно средний чувствительность во всем ${ displaystyle x}$ .

В гипотеза о чувствительности гипотеза о том, что чувствительность полиномиально связана со сложностью запроса; то есть существует показатель степени ${ displaystyle c, c '}$ такое, что для всех ${ displaystyle f}$ , ${ Displaystyle D (е) = О (s (f) ^ {c})}$ и ${ Displaystyle s (е) = О (D (е) ^ {с '})}$ . С помощью простого аргумента можно показать, что ${ Displaystyle s (е) Leq D (е)}$ , поэтому гипотеза конкретно касается нахождения нижней границы чувствительности. Поскольку все ранее обсуждавшиеся меры сложности полиномиально связаны, точный тип меры сложности не имеет значения. Однако это обычно формулируется как вопрос о связи чувствительности с чувствительностью блока.

В блокировка чувствительности из ${ displaystyle f}$ , обозначенный ${ displaystyle bs (f)}$ , определяется как максимальная блочная чувствительность ${ displaystyle f}$ общий ${ displaystyle x}$ . Чувствительность блока ${ displaystyle f}$ в ${ displaystyle x}$ это максимальное количество ${ displaystyle t}$ непересекающихся подмножеств ${ Displaystyle S_ {1}, ldots, S_ {t} подмножество [п]}$ так что для любого из подмножеств ${ displaystyle S_ {i}}$ , переворачивая кусочки ${ displaystyle x}$ соответствующий ${ displaystyle S_ {i}}$ меняет значение ${ displaystyle f (x)}$ .^[13]

Поскольку чувствительность блока принимает максимум при большем количестве вариантов выбора подмножеств, ${ Displaystyle S (F) Leq BS (F)}$ . Кроме того, чувствительность к блокам полиномиально связана с ранее обсужденными мерами сложности; например, статья Нисана о чувствительности к блокам показала, что ${ Displaystyle шс (е) leq D (е) = О (шс (е) ^ {4})}$ .^[13] Итак, можно было бы перефразировать гипотезу о чувствительности, показав, что для некоторых ${ displaystyle c}$ , ${ displaystyle bs (f) = O (s (f) ^ {c})}$ . В 1992 году Нисан и Сегеди предположили, что ${ displaystyle c = 2}$ достаточно.^[19] Это было бы сложно, поскольку Рубинштейн в 1995 году показал квадратичное разделение между чувствительностью и чувствительностью к блокам.^[20]

В июле 2019 года, через 27 лет после первоначальной гипотезы, Хао Хуан из Университет Эмори доказал гипотезу о чувствительности, показав, что ${ displaystyle bs (f) = O (s (f) ^ {4})}$ .^[21] Это доказательство особенно лаконично, доказывая это утверждение на двух страницах, когда предыдущий прогресс в отношении гипотезы о чувствительности был ограничен.^[22]^[23]

Резюме известных результатов

Наиболее известные разделения по комплексным мерам по состоянию на октябрь 2020 г.^{[Обновить]}^[16]
	${ displaystyle D}$	${ displaystyle R_ {0}}$	${ displaystyle R_ {2}}$	${ displaystyle C}$	${ displaystyle RC}$	${ displaystyle bs}$	${ displaystyle s}$	${ displaystyle Q_ {0}}$	${ displaystyle operatorname {deg}}$	${ displaystyle Q}$	${ displaystyle { widetilde { operatorname {deg}}}}$
${ displaystyle D}$		2	2, 3	2	2, 3	2, 3	3, 6	2, 3	2, 3	4	4
${ displaystyle R_ {0}}$	1		2	2	2, 3	2, 3	3, 6	2, 3	2, 3	3, 4	4
${ displaystyle R}$	1	1		2	2, 3	2, 3	3, 6	1.5, 3	2, 3	3, 4	4
${ displaystyle C}$	1	1	1, 2		2	2	2.22, 5	1.15, 3	1.63, 3	2, 4	2, 4
${ displaystyle RC}$	1	1	1	1		1.5, 2	2, 4	1.15, 2	1.63, 2	2	2
${ displaystyle bs}$	1	1	1	1	1		2, 4	1.15, 2	1.63, 2	2	2
${ displaystyle s}$	1	1	1	1	1	1		1.15, 2	1.63, 2	2	2
${ displaystyle Q_ {0}}$	1	1.33, 2	1.33, 3	2	2, 3	2, 3	3, 6		2, 3	2, 4	4
${ displaystyle operatorname {deg}}$	1	1.33, 2	1.33, 2	2	2	2	2	1		2	2
${ displaystyle Q}$	1	1	1	2	2, 3	2, 3	3, 6	1	2, 3		4
${ displaystyle { widetilde { operatorname {deg}}}}$	1	1	1	2	2	2	2	1	1	1

В этой таблице приведены результаты по разделению мер сложности булевых функций. Меры сложности: детерминированный, рандомизированный с нулевой ошибкой, рандомизированный с двусторонней ошибкой, сертификат, рандомизированный сертификат, чувствительность блока, чувствительность, точная величина, степень, квант и приблизительная степень сложности.

Число в ${ displaystyle A}$ -й ряд и ${ displaystyle B}$ -й столбец обозначает границы экспоненты ${ displaystyle c}$ , которая является точной гранью всех ${ displaystyle k}$ удовлетворение ${ Displaystyle А (е) = О (В (е) ^ {к})}$ для всех логических функций ${ displaystyle f}$ . Например, запись в строке D и столбце s - "3, 6", поэтому ${ Displaystyle D (е) = О ( OperatorName {s} (е) ^ {6 + о (1)})}$ для всех ${ displaystyle f}$ , и существует функция ${ displaystyle g}$ такой, что ${ Displaystyle D (g) = Omega ( operatorname {s} (g) ^ {3-o (1)})}$ .