Информационный метод узкого места - Information bottleneck method

В метод информационного узкого места это техника в теория информации представлен Нафтали Тишбы, Фернандо С. Перейра и Уильям Биалек.^[1] Он разработан для поиска лучшего компромисса между точность и сложность (сжатие ) когда подведение итогов (например. кластеризация ) а случайная переменная Икс, учитывая совместное распределение вероятностей p (X, Y) между Икс и наблюдаемая релевантная переменная Y - и описывается как обеспечивающий «Удивительно богатая структура для обсуждения множества проблем обработки сигналов и обучения».^[1]

Приложения включают распределительную кластеризацию и уменьшение размеров, и совсем недавно это было предложено в качестве теоретической основы для глубокое обучение. Он обобщил классическое понятие минимального достаточная статистика из параметрическая статистика к произвольным распределениям, не обязательно экспоненциальной формы. Это достигается за счет ослабления условия достаточности для захвата некоторой части взаимная информация с соответствующей переменной Y.

Информационное узкое место также можно рассматривать как искажение скорости проблема с функцией искажения, которая измеряет, насколько хорошо Y предсказывается из сжатого представления Т по сравнению с его прямым предсказанием от Икс. Эта интерпретация обеспечивает общий итерационный алгоритм решения компромисса между информационными узкими местами и вычисления информационной кривой на основе распределения. p (X, Y).

Пусть сжатое представление задано случайной величиной ${ displaystyle T}$ . Алгоритм минимизирует следующий функционал относительно условного распределения ${ Displaystyle р (т | х)}$ :

{ Displaystyle мин _ {п (т | х)} , , I (X; T) - бета I (T; Y),}

куда ${ Displaystyle I (X; T)}$ и ${ Displaystyle I (T; Y)}$ взаимная информация ${ displaystyle X}$ и ${ displaystyle T}$ , и из ${ displaystyle T}$ и ${ displaystyle Y}$ соответственно и ${ displaystyle beta}$ это Множитель Лагранжа.

Минимально достаточная статистика

Самосогласованные уравнения

Теория обучения

Фазовые переходы

Информационная теория глубокого обучения

Теория информационных узких мест в последнее время используется для изучения глубоких нейронных сетей (DNN).^[2]Учитывать ${ displaystyle X}$ и ${ displaystyle Y}$ соответственно как входной и выходной уровни DNN, и пусть ${ displaystyle T}$ быть любым скрытым слоем сети. Шварц-Зив и Тишби предложили информационное узкое место, которое выражает компромисс между мерами взаимной информации. ${ Displaystyle I (X, T)}$ и ${ displaystyle I (T, Y)}$ . В этом случае, ${ Displaystyle I (X, T)}$ и ${ displaystyle I (T, Y)}$ соответственно количественно определить количество информации, которую скрытый слой содержит о входе и выходе. Они предположили, что процесс обучения DNN состоит из двух отдельных фаз; 1) начальный этап настройки, на котором ${ displaystyle I (T, Y)}$ увеличивается, и 2) последующая фаза сжатия, в которой ${ Displaystyle I (X, T)}$ уменьшается. Saxe et al. в ^[3] отклонил иск Шварц-Зива и Тишби,^[2] заявляя, что это явление сжатия в DNN не является всеобъемлющим и зависит от конкретной функции активации. В частности, они утверждали, что сжатия не происходит с функциями активации ReLu. Шварц-Зив и Тишби оспорили эти утверждения, утверждая, что Сакс и др. Не наблюдали сжатия из-за слабой оценки взаимной информации. Недавно Noshad et al. использовали оптимальную по скорости оценку взаимной информации, чтобы исследовать это противоречие, заметив, что оптимальная оценка на основе хешей выявляет явление сжатия в более широком диапазоне сетей с активациями ReLu и maxpooling.^[4] С другой стороны, недавно Goldfeld et al. утверждали, что наблюдаемое сжатие является результатом геометрических, а не теоретико-информационных явлений,^[5] мнение, которое разделяли и в.^[6]

Вариационное узкое место

Гауссово узкое место

Гауссово узкое место,^[7] а именно, применение подхода информационного узкого места к гауссовским переменным приводит к решениям, связанным с каноническая корреляция анализ. Предполагать ${ Displaystyle X, Y ,}$ являются совместно многомерными нормальными векторами с нулевым средним и ковариациями ${ Displaystyle Sigma _ {XX}, , , Sigma _ {YY}}$ и ${ Displaystyle T ,}$ это сжатая версия ${ Displaystyle X ,}$ которые должны поддерживать заданную ценность взаимной информации с ${ Displaystyle Y ,}$ . Можно показать, что оптимальная ${ Displaystyle T ,}$ - нормальный вектор, состоящий из линейных комбинаций элементов ${ Displaystyle X, , , T = AX ,}$ где матрица ${ Displaystyle A ,}$ имеет ортогональные строки.

Матрица проекции ${ Displaystyle A ,}$ на самом деле содержит ${ Displaystyle M ,}$ строки, выбранные из взвешенного слева собственные векторы сингулярного разложения матрицы (обычно асимметричной)

{ Displaystyle Omega = Sigma _ {X | Y} Sigma _ {XX} ^ {- 1} = I- Sigma _ {XY} Sigma _ {YY} ^ {- 1} Sigma _ {XY } ^ {T} Sigma _ {XX} ^ {- 1}. ,}

Определите разложение по сингулярным числам

{ displaystyle Omega = U Lambda V ^ {T} { text {with}} Lambda = operatorname {Diag} { big (} lambda _ {1} leq lambda _ {2} cdots lambda _ {N} { big)} ,}

и критические значения

{ displaystyle beta _ {i} ^ {C} { underset { lambda _ {i} <1} {=}} (1- lambda _ {i}) ^ {- 1}. ,}

тогда число ${ Displaystyle M ,}$ активных собственных векторов в проекции, или порядок аппроксимации, определяется как

{ displaystyle beta _ {M-1} ^ {C} < beta leq beta _ {M} ^ {C}}

И мы наконец получаем

{ displaystyle A = [w_ {1} U_ {1}, dots, w_ {M} U_ {M}] ^ {T}}

В котором веса даны как

{ displaystyle w_ {i} = { sqrt {( beta (1- lambda _ {i}) / lambda _ {i} r_ {i}}}}}

куда ${ displaystyle r_ {i} = U_ {i} ^ {T} Sigma _ {XX} U_ {i}. ,}$

Применение гауссовского информационного узкого места к Временные ряды (процессы), дает решения, связанные с оптимальным кодированием с предсказанием. Эта процедура формально эквивалентна линейный Медленный анализ признаков.^[8]

Оптимальные временные структуры в линейных динамических системах могут быть обнаружены в так называемом узком месте информации прошлого и будущего, применении метода узкого места к негауссовским выборочным данным.^[9] Концепция, рассматриваемая Крейтцигом, Тишби и др., Не лишена сложности, поскольку в упражнении складываются две независимые фазы: во-первых, оценка неизвестных родительских плотностей вероятностей, из которых берутся выборки данных, и, во-вторых, использование этих плотностей в теоретико-информационная структура узкого места.

Оценка плотности

Поскольку метод узких мест сформулирован в вероятностных, а не статистических терминах, основная плотность вероятности в точках выборки ${ Displaystyle X = {x_ {i}} ,}$ должны быть оценены. Это хорошо известная проблема с множеством решений, описанных Сильверман.^[10] В настоящем методе вероятности совместной выборки находятся с использованием Матрица марковского перехода метод, и это имеет некоторую математическую синергию с самим методом узких мест.

Произвольно увеличивающаяся метрика расстояния ${ displaystyle f ,}$ между всеми парами образцов и матрица расстояний является ${ displaystyle d_ {i, j} = f { Big (} { Big |} x_ {i} -x_ {j} { Big |} { Big)}}$ . Тогда вероятности перехода между парами выборок ${ Displaystyle P_ {я, j} = ехр (- лямбда d_ {я, j}) ,}$ для некоторых ${ displaystyle lambda> 0 ,}$ должны быть вычислены. Обработка образцов как состояний и нормализованной версии ${ Displaystyle P ,}$ как матрица вероятностей перехода состояний Маркова, вектор вероятностей «состояний» после ${ Displaystyle т ,}$ шаги, обусловленные начальным состоянием ${ Displaystyle p (0) ,}$ , является ${ Displaystyle р (т) = п ^ {т} р (0) ,}$ . Вектор равновесной вероятности ${ Displaystyle р ( infty) ,}$ заданным обычным образом доминирующим собственным вектором матрицы ${ Displaystyle P ,}$ который не зависит от инициализирующего вектора ${ Displaystyle p (0) ,}$ . Этот метод марковского перехода устанавливает вероятность в точках выборки, которая, как утверждается, пропорциональна их плотностям.

Другие интерпретации использования собственных значений матрицы расстояний ${ displaystyle d ,}$ обсуждаются в Оценка плотности для статистики и анализа данных.^[10]

Кластеры

В следующем примере мягкой кластеризации опорный вектор ${ Displaystyle Y ,}$ содержит выборочные категории и совместную вероятность ${ Displaystyle p (X, Y) ,}$ считается известным. Мягкий кластер ${ displaystyle c_ {k} ,}$ определяется его вероятностным распределением по выборкам данных ${ Displaystyle x_ {i}: , , , p (c_ {k} | x_ {i})}$ . Тишби и др. представлен^[1] следующий итерационный набор уравнений для определения кластеров, которые в конечном итоге являются обобщением Алгоритм Блахута-Аримото, разработанный в теория искажения скорости. Применение этого типа алгоритма в нейронных сетях, по-видимому, связано с энтропийными аргументами, возникающими при применении Распределения Гиббса при детерминированном отжиге.^[11]^[12]

{ Displaystyle { begin {case} p (c | x) = Kp (c) exp { Big (} - beta , D ^ {KL} { Big [} p (y | x) , || , п (Y | C) { Big]} { Big)} p (y | c) = textstyle sum _ {x} p (y | x) p (c | x) p (Икс) { big /} п (с) р (с) = textstyle сумма _ {х} р (с | х) р (х) конец {случаи}}}

Функция каждой строки итерации расширяется как

Строка 1: Это матричнозначный набор условных вероятностей

{ Displaystyle A_ {я, j} = p (c_ {i} | x_ {j}) = Kp (c_ {i}) exp { Big (} - beta , D ^ {KL} { Big [} p (y | x_ {j}) , || , p (y | c_ {i}) { Big]} { Big)}}

В Дивергенция Кульбака – Лейблера ${ Displaystyle D ^ {KL} ,}$ между ${ Displaystyle Y ,}$ векторы, генерируемые выборочными данными ${ Displaystyle х ,}$ и те, которые генерируются его сокращенным информационным прокси ${ displaystyle c ,}$ применяется для оценки точности сжатого вектора относительно эталонных (или категориальных) данных ${ Displaystyle Y ,}$ в соответствии с основным уравнением узкого места. ${ Displaystyle D ^ {KL} (а || b) ,}$ - расхождение Кульбака – Лейблера между распределениями ${ displaystyle a, b ,}$

{ displaystyle D ^ {KL} (a || b) = sum _ {i} p (a_ {i}) log { Big (} { frac {p (a_ {i})} {p ( b_ {i})}} { Big)}}

и ${ Displaystyle K ,}$ - скалярная нормализация. Взвешивание отрицательным показателем расстояния означает, что вероятности предшествующих кластеров уменьшаются в строке 1, когда расхождение Кульбака – Лейблера велико, таким образом, успешные кластеры увеличиваются в вероятности, а неудачные - распадаются.

Строка 2: Второй матричнозначный набор условных вероятностей. По определению

{ displaystyle { begin {align} p (y_ {i} | c_ {k}) & = sum _ {j} p (y_ {i} | x_ {j}) p (x_ {j} | c_ { k}) & = sum _ {j} p (y_ {i} | x_ {j}) p (x_ {j}, c_ {k}) { big /} p (c_ {k}) & = sum _ {j} p (y_ {i} | x_ {j}) p (c_ {k} | x_ {j}) p (x_ {j}) { big /} p (c_ {k }) конец {выровнен}}}

где байесовские тождества ${ Displaystyle п (а, б) = п (а | б) р (б) = р (б | а) р (а) ,}$ используются.

Строка 3: эта линия находит маргинальное распределение кластеров ${ displaystyle c ,}$

{ displaystyle { begin {align} p (c_ {i}) & = sum _ {j} p (c_ {i}, x_ {j}) & = sum _ {j} p (c_ {i} | x_ {j}) p (x_ {j}) end {align}}}

Это стандартный результат.

Дальнейшими входами в алгоритм являются маргинальное распределение выборки. ${ Displaystyle р (х) ,}$ которое уже определено доминирующим собственным вектором ${ Displaystyle P ,}$ и матричнозначная функция расходимости Кульбака – Лейблера

{ Displaystyle D_ {я, j} ^ {KL} = D ^ {KL} { Big [} p (y | x_ {j}) , || , p (y | c_ {i}) { Большой большой )}}

полученные из интервалов между образцами и вероятностей перехода.

Матрица ${ displaystyle p (y_ {i} | c_ {j}) ,}$ может быть инициализирован случайным образом или с разумным предположением, а матрица ${ displaystyle p (c_ {i} | x_ {j}) ,}$ не требует предварительных значений. Хотя алгоритм сходится, может существовать несколько минимумов, которые необходимо разрешить.^[13]

Определение контуров принятия решений

Чтобы отнести новый образец к категории ${ Displaystyle х ',}$ внешний по отношению к обучающей выборке ${ Displaystyle X ,}$ , предыдущая метрика расстояния находит вероятности перехода между ${ Displaystyle х ',}$ и все образцы в ${ Displaystyle X: , ,}$ , ${ displaystyle { тильда {p}} (x_ {i}) = p (x_ {i} | x ') = mathrm {K} exp { Big (} - lambda f { big (} { Big |} x_ {i} -x '{ Big |} { big)} { Big)}}$ с ${ Displaystyle mathrm {K} ,}$ нормализация. Во-вторых, примените последние две строки трехстрочного алгоритма, чтобы получить вероятности кластера и условной категории.

{ displaystyle { begin {align} & { tilde {p}} (c_ {i}) = p (c_ {i} | x ') = sum _ {j} p (c_ {i} | x_ { j}) p (x_ {j} | x ') = sum _ {j} p (c_ {i} | x_ {j}) { tilde {p}} (x_ {j}) & p (y_ {i} | c_ {j}) = sum _ {k} p (y_ {i} | x_ {k}) p (c_ {j} | x_ {k}) p (x_ {k} | x ') / p (c_ {j} | x ') = sum _ {k} p (y_ {i} | x_ {k}) p (c_ {j} | x_ {k}) { tilde {p}} ( x_ {k}) / { tilde {p}} (c_ {j}) конец {выровнено}}}

Ну наконец то

{ displaystyle p (y_ {i} | x ') = sum _ {j} p (y_ {i} | c_ {j}) p (c_ {j} | x')) = sum _ {j} p (y_ {i} | c_ {j}) { tilde {p}} (c_ {j}) ,}

Параметр ${ displaystyle beta ,}$ должны находиться под пристальным наблюдением, поскольку по мере его увеличения от нуля все большее количество функций в пространстве вероятностей категорий попадает в фокус при определенных критических порогах.

Пример

В следующем примере рассматривается кластеризация в четырехквадрантном множителе со случайными входными данными. ${ displaystyle u, v ,}$ и две категории продукции, ${ displaystyle pm 1 ,}$ , создано ${ Displaystyle у = OperatorName {знак} (УФ) ,}$ . Эта функция имеет два пространственно разделенных кластера для каждой категории и тем самым демонстрирует, что метод может обрабатывать такие распределения.

Отбирают 20 проб, равномерно распределяемых по площади. ${ Displaystyle [-1,1] ^ {2} ,}$ . Количество используемых кластеров превышает количество категорий, в данном случае два, мало влияет на производительность, и результаты отображаются для двух кластеров с использованием параметров ${ Displaystyle лямбда = 3, , бета = 2,5}$ .

Функция расстояния ${ displaystyle d_ {i, j} = { Big |} x_ {i} -x_ {j} { Big |} ^ {2}}$ куда ${ Displaystyle х_ {я} = (и_ {я}, v_ {я}) ^ {Т} ,}$ а условное распределение ${ Displaystyle р (у | х) ,}$ матрица 2 × 20

{ displaystyle { begin {align} & Pr (y_ {i} = 1) = 1 { text {if}} operatorname {sign} (u_ {i} v_ {i}) = 1 , & Pr ( y_ {i} = - 1) = 1 { text {if}} operatorname {sign} (u_ {i} v_ {i}) = - 1 , end {выровнено}}}

и ноль в других местах.

Суммирование в строке 2 включает только два значения, представляющих обучающие значения +1 или -1, но, тем не менее, работает хорошо. На рисунке показано расположение двадцати образцов, где «0» означает Y = 1 и 'x' представляет Y = -1. Показан контур на уровне отношения правдоподобия,

{ Displaystyle L = { гидроразрыва { Pr (1)} { Pr (-1)}} = 1}

как новый образец ${ Displaystyle х ',}$ сканируется по площади. Теоретически контур должен совпадать с ${ Displaystyle и = 0 ,}$ и ${ Displaystyle v = 0 ,}$ координаты, но для такого небольшого количества выборок они вместо этого следовали ложной кластеризации точек выборки.

Контуры решения

Нейронная сеть / аналогии с нечеткой логикой

Этот алгоритм в некоторой степени аналогичен нейронной сети с единственным скрытым слоем. Внутренние узлы представлены кластерами ${ displaystyle c_ {j} ,}$ а первый и второй уровни весов сети являются условными вероятностями ${ displaystyle p (c_ {j} | x_ {i}) ,}$ и ${ displaystyle p (y_ {k} | c_ {j}) ,}$ соответственно. Однако, в отличие от стандартной нейронной сети, алгоритм полностью полагается на вероятности в качестве входных данных, а не на сами значения выборки, в то время как внутренние и выходные значения представляют собой условные распределения плотности вероятности. Нелинейные функции заключены в метрику расстояния. ${ Displaystyle f (.) ,}$ (или же функции влияния / радиальные базисные функции) и переходные вероятности вместо сигмовидных функций.

Трехстрочный алгоритм Блахута-Аримото быстро сходится, часто за десятки итераций, и варьируя ${ Displaystyle бета ,}$ , ${ displaystyle lambda ,}$ и ${ displaystyle f ,}$ и мощности кластеров могут быть достигнуты различные уровни концентрации на функциях.

Определение статистической мягкой кластеризации ${ displaystyle p (c_ {i} | x_ {j}) ,}$ имеет некоторое совпадение с вербальной нечеткой концепцией членства нечеткая логика.

Расширения

Интересное расширение - это информационное узкое место с дополнительной информацией.^[14] Здесь информация максимизируется об одной целевой переменной и сводится к минимуму о другой, изучая представление, информативное о выбранных аспектах данных. Формально

{ displaystyle min _ {p (t | x)} , , I (X; T) - beta ^ {+} I (T; Y ^ {+}) + beta ^ {-} I ( T; Y ^ {-})}

Библиография

Вайс, Ю. (1999), "Сегментация с использованием собственных векторов: объединяющая точка зрения", Труды Международной конференции IEEE по компьютерному зрению (PDF), стр. 975–982
П. Харремус, Н. Тишби «Возвращение к информационному узкому месту или как выбрать хорошую меру искажения». В трудах Международного симпозиума по теории информации (ISIT) 2007 г.