Функция роста - Growth function

В функция роста, также называемый коэффициент разрушения или сокрушительное число, измеряет богатство установить семью. Он особенно используется в контексте теория статистического обучения, где он измеряет сложность класса гипотез. Термин «функция роста» был введен Вапником и Червоненкисом в их статье 1968 года, где они также доказали многие из его свойств.^[1]Это основная концепция в машинное обучение.^[2][3]

Определения

Определение семейства наборов

Позволять ${ displaystyle H}$ быть установить семью (набор наборов) и ${ displaystyle C}$ множество. Их пересечение определяется как следующее семейство наборов:

${ Displaystyle H cap C: = {h cap C mid h in H }}$

В размер пересечения (также называемый показатель) из ${ displaystyle H}$ относительно ${ displaystyle C}$ является ${ displaystyle | H cap C |}$. Если набор ${ displaystyle C_ {m}}$ имеет ${ displaystyle m}$ элементов, то индекс не более ${ displaystyle 2 ^ {m}}$. Если индекс ровно 2^м тогда набор ${ displaystyle C}$ как говорят, разбит ${ displaystyle H}$, потому что ${ displaystyle H cap C}$ содержит все подмножества ${ displaystyle C}$, то есть:

${ displaystyle | H cap C | = 2 ^ {| C |},}$

Функция роста измеряет размер ${ displaystyle H cap C}$ как функция ${ displaystyle | C |}$. Формально:

${ displaystyle operatorname {Growth} (H, m): = max _ {C: | C | = m} | H cap C |}$

Определение класса гипотез

Эквивалентно пусть ${ displaystyle H}$ быть классом гипотез (набор бинарных функций) и ${ displaystyle C}$ набор с ${ displaystyle m}$ элементы. В ограничение из ${ displaystyle H}$ к ${ displaystyle C}$ набор двоичных функций на ${ displaystyle C}$ что может быть получено из ${ displaystyle H}$:^[3]:45

${ displaystyle H_ {C}: = {(h (x_ {1}), ldots, h (x_ {m})) mid h in H, x_ {i} in C }}$

Функция роста измеряет размер ${ displaystyle H_ {C}}$ как функция ${ displaystyle | C |}$:^[3]:49

${ displaystyle operatorname {Growth} (H, m): = max _ {C: | C | = m} | H_ {C} |}$

Примеры

1. Домен - это настоящая линия ${ Displaystyle mathbb {R}}$. Набор-семья ${ displaystyle H}$ содержит все полупрямы (лучей) от заданного числа до положительной бесконечности, т. е. все множества вида ${ displaystyle {x> x_ {0} mid x in mathbb {R} }}$ для некоторых ${ displaystyle x_ {0} in mathbb {R}}$. Для любого набора ${ displaystyle C}$ из ${ displaystyle m}$ реальные числа, пересечение ${ displaystyle H cap C}$ содержит ${ displaystyle m + 1}$ наборы: пустой набор, набор, содержащий самый большой элемент ${ displaystyle C}$, множество, содержащее два наибольших элемента ${ displaystyle C}$, и так далее. Следовательно: ${ displaystyle operatorname {рост} (H, m) = m + 1}$.^{[1]:Пример 1} То же самое верно ли ${ displaystyle H}$ содержит открытые полупрямы, замкнутые полупрямы или и то, и другое.

2. Домен - это сегмент ${ displaystyle [0,1]}$. Набор-семья ${ displaystyle H}$ содержит все открытые множества. Для любого конечного множества ${ displaystyle C}$ из ${ displaystyle m}$ реальные числа, пересечение ${ displaystyle H cap C}$ содержит все возможные подмножества ${ displaystyle C}$. Есть ${ displaystyle 2 ^ {m}}$ такие подмножества, поэтому ${ displaystyle operatorname {рост} (H, m) = 2 ^ {m}}$.^{[1]:Пример 2}

3. Область - евклидово пространство. ${ Displaystyle mathbb {R} ^ {п}}$. Набор-семья ${ displaystyle H}$ содержит все полупространства формы: ${ Displaystyle х cdot phi geq 1}$, где ${ displaystyle phi}$ - фиксированный вектор. ${ displaystyle operatorname {рост} (H, m) = operatorname {Comp} (n, m)}$, где Comp - количество количество компонентов в разбиении n-мерного пространства m гиперплоскостями.^{[1]:Пример 3}

4. Домен - это настоящая линия ${ Displaystyle mathbb {R}}$. Набор-семья ${ displaystyle H}$ содержит все действительные интервалы, т. е. все множества вида ${ Displaystyle {х в [х_ {0}, х_ {1}] | х в mathbb {R} }}$ для некоторых ${ displaystyle x_ {0}, x_ {1} in mathbb {R}}$. Для любого набора ${ displaystyle C}$ из ${ displaystyle m}$ реальные числа, пересечение ${ displaystyle H cap C}$ содержит все серии от 0 до ${ displaystyle m}$ последовательные элементы ${ displaystyle C}$. Количество таких запусков ${ displaystyle {m + 1 choose 2} +1}$, так ${ displaystyle operatorname {Growth} (H, m) = {m + 1 select 2} +1}$.

Полиномиальный или экспоненциальный

Основное свойство, делающее функцию роста интересной, заключается в том, что она может быть полиномиальной или экспоненциальной - ничего промежуточного.

Следующее - свойство размера пересечения:^[1]:Лем.1

• Если для некоторого набора ${ displaystyle C_ {m}}$ размера ${ displaystyle m}$, а для некоторого числа ${ Displaystyle п leq m}$, ${ displaystyle | H cap C_ {m} | geq operatorname {Comp} (n, m)}$ -
• тогда существует подмножество ${ Displaystyle C_ {п} substeq C_ {m}}$ размера ${ displaystyle n}$ такой, что ${ displaystyle | H cap C_ {n} | = 2 ^ {n}}$.

Отсюда следует следующее свойство функции роста.^[1]:Th.1Для каждой семьи ${ displaystyle H}$ есть два случая:

• В экспоненциальный случай: ${ displaystyle operatorname {рост} (H, m) = 2 ^ {m}}$ идентично.
• В полиномиальный случай: ${ displaystyle operatorname {рост} (H, m)}$ мажорируется ${ displaystyle operatorname {Comp} (n, m) leq m ^ {n} +1}$, где ${ displaystyle n}$ это наименьшее целое число, для которого ${ displaystyle operatorname {рост} (H, n) <2 ^ {n}}$.

Другие свойства

Тривиальная верхняя оценка

Для любого конечного ${ displaystyle H}$:

${ displaystyle operatorname {рост} (H, m) leq | H |}$

поскольку для каждого ${ displaystyle C}$, количество элементов в ${ displaystyle H cap C}$ самое большее ${ displaystyle | H |}$. Поэтому функция роста представляет наибольший интерес, когда ${ displaystyle H}$ бесконечно.

Экспоненциальная верхняя граница

Для любого непустого ${ displaystyle H}$:

${ displaystyle operatorname {рост} (H, m) leq 2 ^ {m}}$

То есть функция роста имеет экспоненциальную оценку сверху.

Мы говорим, что набор-семья ${ displaystyle H}$ разбивается множество ${ displaystyle C}$ если их пересечение содержит все возможные подмножества ${ displaystyle C}$, т.е. ${ Displaystyle H cap C = 2 ^ {C}}$.Если ${ displaystyle H}$ разбивается ${ displaystyle C}$ размера ${ displaystyle m}$, тогда ${ displaystyle operatorname {рост} (H, C) = 2 ^ {m}}$, что является верхней границей.

Декартово пересечение

Определите декартово пересечение двух семейств множеств как:

${ displaystyle H_ {1} bigotimes H_ {2}: = {h_ {1} cap h_ {2} mid h_ {1} in H_ {1}, h_ {2} in H_ {2} }}$.

Потом:^[2]:57

${ displaystyle operatorname {Growth} (H_ {1} bigotimes H_ {2}, m) leq operatorname {Growth} (H_ {1}, m) cdot operatorname {Growth} (H_ {2}, m)}$

Союз

На каждые два набора-семейств:^[2]:58

${ displaystyle operatorname {Growth} (H_ {1} cup H_ {2}, m) leq operatorname {Growth} (H_ {1}, m) + operatorname {Growth} (H_ {2}, m )}$

Размер ВК

В Размер ВК из ${ displaystyle H}$ определяется в соответствии с этими двумя случаями:

• в полиномиальный случай, ${ Displaystyle OperatorName {VCDim} (H) = n-1}$ = наибольшее целое число ${ displaystyle d}$ для которого ${ displaystyle operatorname {рост} (H, d) = 2 ^ {d}}$.
• в экспоненциальный случай ${ Displaystyle OperatorName {VCDim} (H) = infty}$.

Так ${ displaystyle operatorname {VCDim} (H) geq d}$ если и только если ${ displaystyle operatorname {рост} (H, d) = 2 ^ {d}}$.

Функцию роста можно рассматривать как уточнение концепции размерности ВК. Измерение VC только говорит нам, ${ displaystyle operatorname {рост} (H, d)}$ равно или меньше чем ${ displaystyle 2 ^ {d}}$, а функция роста говорит нам, как именно ${ displaystyle operatorname {рост} (H, m)}$ изменяется в зависимости от ${ displaystyle m}$.

Другая связь между функцией роста и размерностью ВК задается соотношением Лемма Зауэра – Шелаха.:^[3]:49

Если ${ displaystyle operatorname {VCDim} (H) = d}$, тогда:

для всех ${ displaystyle m}$: ${ displaystyle operatorname {Growth} (H, m) leq sum _ {i = 0} ^ {d} {m choose i}}$

Особенно,

для всех ${ displaystyle m> d + 1}$: ${ Displaystyle operatorname {Рост} (H, m) leq (em / d) ^ {d} = O (m ^ {d})}$

поэтому, когда размерность VC конечна, функция роста полиномиально растет с ${ displaystyle m}$.

Эта верхняя граница точна, т. Е. Для всех ${ displaystyle m> d}$ Существует ${ displaystyle H}$ с размером ВК ${ displaystyle d}$ такой, что:^[2]:56

${ displaystyle operatorname {Growth} (H, m) = sum _ {i = 0} ^ {d} {m choose i}}$

Энтропия

В то время как функция роста связана с максимум размер пересечения, энтропия относится к средний размер перекрестка:^{[1]:272–273}

${ displaystyle operatorname {Entropy} (H, m) = E_ {| C_ {m} | = m} { big [} log _ {2} (| H cap C_ {m} |) { big ]}}$

Размер пересечения имеет следующее свойство. Для каждой сет-семьи ${ displaystyle H}$:

${ displaystyle | H cap (C_ {1} cup C_ {2}) | leq | H cap C_ {1} | cdot | H cap C_ {2} |}$

Отсюда:

${ displaystyle operatorname {Entropy} (H, m_ {1} + m_ {2}) leq operatorname {Entropy} (H, m_ {1}) + operatorname {Entropy} (H, m_ {2}) }$

Более того, последовательность ${ displaystyle operatorname {энтропия} (H, m) / m}$ сходится к константе ${ Displaystyle с в [0,1]}$ когда ${ displaystyle m to infty}$.

Более того, случайная величина ${ displaystyle log _ {2} {| H cap C_ {m} | / m}}$ сосредоточено около ${ displaystyle c}$.

Приложения в теории вероятностей

Позволять ${ displaystyle Omega}$ быть набором, на котором вероятностная мера ${ Displaystyle Pr}$ определено. Позволять ${ displaystyle H}$ быть семейством подмножеств ${ displaystyle Omega}$ (= семейство событий).

Допустим, мы выбираем набор ${ displaystyle C_ {m}}$ который содержит ${ displaystyle m}$ элементы ${ displaystyle Omega}$, где каждый элемент выбирается случайным образом в соответствии с вероятностной мерой ${ displaystyle P}$, независимо от других (то есть с заменами). Для каждого события ${ displaystyle h in H}$, мы сравниваем следующие две величины:

• Его относительная частота в ${ displaystyle C_ {m}}$, т.е. ${ displaystyle | h cap C_ {m} | / m}$;
• Его вероятность ${ Displaystyle Pr [ч]}$.

Нас интересует разница, ${ displaystyle D (h, C_ {m}): = { big |} | h cap C_ {m} | / m- Pr [h] { big |}}$. Эта разница удовлетворяет следующей верхней границе:

${ displaystyle Pr left [ forall h in H: D (h, C_ {m}) leq { sqrt {8 ( ln operatorname {Growth} (H, 2m) + ln (4 / delta)) over m}} right] ~~~~> ~~~~ 1- delta}$

что эквивалентно:^[1]:Th.2

${ displaystyle Pr { big [} forall h in H: D (h, C_ {m}) leq varepsilon { big]} ~~~~> ~~~~ 1-4 cdot имя оператора {Рост} (H, 2m) cdot exp (- varepsilon ^ {2} cdot m / 8)}$

Словами: вероятность того, что при все события в ${ displaystyle H}$, относительная частота близка к вероятности, ограничена снизу выражением, которое зависит от функции роста ${ displaystyle H}$.

Следствием этого является то, что если и только если функция роста полиномиальна от ${ displaystyle m}$ (т.е. существует несколько ${ displaystyle n}$ такой, что ${ displaystyle operatorname {рост} (H, m) leq m ^ {n} +1}$), то вероятность приближается к 1 при ${ displaystyle m to infty}$. То есть семья ${ displaystyle H}$ наслаждается равномерная сходимость по вероятности.

Рекомендации