Модель динамических тем - Википедия - Dynamic topic model

Эта статья предоставляет недостаточный контекст для тех, кто не знаком с предметом. Пожалуйста помоги улучшить статью к обеспечение большего контекста для читателя. (Март 2012 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Динамические тематические модели находятся генеративные модели которые можно использовать для анализа эволюции (ненаблюдаемых) тем коллекции документов с течением времени. Это семейство моделей было предложено Дэвид Блей и Джона Лафферти и является продолжением Скрытое размещение Дирихле (LDA), который может обрабатывать последовательные документы.^[1]

В LDA как порядок слов в документе, так и порядок появления документов в корпусе не зависят от модели. В то время как слова по-прежнему считаются обмениваемый, в динамической тематической модели порядок документов играет фундаментальную роль. Точнее, документы сгруппированы по временным отрезкам (например, по годам), и предполагается, что документы каждой группы исходят из набора тем, которые развились из набора предыдущего среза.

Темы

Аналогично LDA и pLSA в динамической тематической модели каждый документ рассматривается как смесь ненаблюдаемых тем. Кроме того, каждая тема определяет полиномиальное распределение над набором условий. Таким образом, для каждого слова каждого документа тема выбирается из смеси, а термин впоследствии извлекается из полиномиального распределения, соответствующего этой теме.

Тем не менее, темы со временем развиваются. Например, два наиболее вероятных термина в теме т может быть "сеть" и "Zipf" (в порядке убывания), тогда как наиболее вероятные по времени т + 1 может быть «Zipf» и «percolation» (в порядке убывания).

Модель

Определять

${ displaystyle alpha _ {t}}$ как распределение тем по документам во времени т.

${ displaystyle beta _ {т, к}}$ как распределение слов по теме k вовремя т.

${ Displaystyle eta _ {т, д}}$ как распространение темы для документа d во время т,

${ displaystyle z_ {t, d, n}}$ как тема для пое слово в документе d во время т, и

${ displaystyle w_ {t, d, n}}$ как конкретное слово.

В этой модели полиномиальные распределения ${ Displaystyle альфа _ {т + 1}}$ и ${ Displaystyle бета _ {т + 1, к}}$ генерируются из ${ displaystyle alpha _ {t}}$ и ${ displaystyle beta _ {т, к}}$Несмотря на то, что полиномиальные распределения обычно записываются в терминах средних параметров, представление их в терминах естественных параметров лучше в контексте динамических тематических моделей.

Первое представление имеет некоторые недостатки, связанные с тем, что параметры должны быть неотрицательными и равны единице.^[2] При определении эволюции этих распределений необходимо убедиться, что такие ограничения выполнены. Поскольку оба дистрибутива находятся в экспоненциальная семья, одним из решений этой проблемы является представление их в терминах естественных параметров, которые могут принимать любое реальное значение и могут быть изменены индивидуально.

Используя естественную параметризацию, динамика тематической модели задается выражением

${ displaystyle beta _ {t, k} | beta _ {t-1, k} sim N ( beta _ {t-1, k}, sigma ^ {2} I)}$

и

${ displaystyle alpha _ {t} | alpha _ {t-1} sim N ( alpha _ {t-1}, delta ^ {2} I)}$.

Таким образом, генеративный процесс на временном отрезке t:

1. Рисовать темы ${ displaystyle beta _ {t, k} | beta _ {t-1, k} sim N ( beta _ {t-1, k}, sigma ^ {2} I) forall k}$
2. Нарисуйте модель смеси ${ displaystyle alpha _ {t} | alpha _ {t-1} sim N ( alpha _ {t-1}, delta ^ {2} I)}$
3. Для каждого документа:
   1. Рисовать ${ displaystyle eta _ {t, d} sim N ( alpha _ {t}, a ^ {2} I)}$
   2. Для каждого слова:
      1. Нарисовать тему ${ displaystyle Z_ {t, d, n} sim { textrm {Mult}} ( pi ( eta _ {t, d}))}$
      2. Нарисуйте слово ${ displaystyle W_ {t, d, n} sim { textrm {Mult}} ( pi ( beta _ {t, Z_ {t, d, n}}))}$

куда ${ Displaystyle пи (х)}$ отображение из естественной параметризации Икс к средней параметризации, а именно

${ displaystyle pi (x_ {i}) = { frac { exp (x_ {i})} { sum _ {i} exp (x_ {i})}}}$.

Вывод

В динамической тематической модели только ${ Displaystyle W_ {т, д, п}}$ наблюдается. Изучение других параметров представляет собой проблему вывода. Блей и Лафферти утверждают, что применение Выборка Гиббса сделать вывод в этой модели труднее, чем в статических моделях, из-за несопряженности гауссова и полиномиального распределений. Они предлагают использовать вариационные методы, в частности, вариационная фильтрация Калмана и вариационная вейвлет-регрессия.

Приложения

В исходной статье динамическая тематическая модель применяется к корпусу научных статей, опубликованных между 1881 и 1999 годами, с целью показать, что этот метод может быть использован для анализа тенденций использования слов внутри тем.^[1] Авторы также показывают, что модель, обученная на прошлых документах, может лучше соответствовать документам наступающего года, чем LDA.

Непрерывная динамическая тематическая модель была разработана Wang et al. и применяется для прогнозирования метки времени документов.^[3]

Помимо текстовых документов, динамические тематические модели использовались для изучения музыкального влияния путем изучения музыкальных тем и их развития в новейшей истории.^[4]

Рекомендации