Логическая вероятность - Log probability

Эта статья не цитировать любой источники. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удаленный. Найдите источники: «Логарифмическая вероятность»  – Новости  · газеты  · книги  · ученый  · JSTOR (Май 2011 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В теория вероятности и Информатика, а логарифмическая вероятность просто логарифм из вероятность. Использование журнала вероятностей означает представление вероятностей на логарифмическая шкала, вместо стандартного ${displaystyle [0,1]}$ единичный интервал.

Поскольку вероятность независимый События умножение, а логарифмы преобразуют умножение в сложение, логарифм вероятностей независимых событий складывается. Таким образом, логарифмические вероятности практичны для вычислений и имеют интуитивную интерпретацию с точки зрения теория информации: отрицательная величина средней логарифмической вероятности является информационная энтропия события. По аналогии, вероятность часто переводятся в логарифмический масштаб, и соответствующие логарифмическая вероятность можно интерпретировать как степень, в которой событие поддерживает статистическая модель. Логарифмическая вероятность широко используется в реализациях вычислений с вероятностью и изучается как самостоятельная концепция в некоторых приложениях теории информации, таких как обработка естественного языка.

Мотивация

Такое представление вероятностей имеет несколько практических преимуществ:

1. Скорость. Поскольку умножение больше дорогой чем сложение, получение произведения с большим числом вероятностей часто оказывается быстрее, если они представлены в виде журнала. (Преобразование в форму журнала дорого, но выполняется только один раз.) Умножение возникает из расчета вероятности того, что произойдет несколько независимых событий: вероятность того, что все независимые события, представляющие интерес, произойдут, является произведением вероятностей всех этих событий.
2. Точность. Использование вероятностей журнала улучшается числовая стабильность, когда вероятность очень мала из-за того, как компьютеры приблизительные реальные числа.
3. Простота. Многие распределения вероятностей имеют экспоненциальную форму. Ведение журнала этих распределений исключает экспоненциальную функцию, разворачивая экспоненту. Например, логарифмическая вероятность нормального распределения функция плотности вероятности является ${displaystyle - (x-m_ {x} / sigma _ {m}) ^ {2} + C}$ вместо ${displaystyle C_ {2} exp (- (x-m_ {x} / sigma _ {m}) ^ {2})}$. Логарифмические вероятности упрощают выполнение некоторых математических манипуляций.

Вопросы представительства

Функция логарифма не определена для нуля, поэтому логарифмические вероятности могут представлять только ненулевые вероятности. Поскольку логарифм числа в ${displaystyle (0,1)}$ интервал отрицательный, часто используются отрицательные логарифмические вероятности. В этом случае логарифмические вероятности в следующих формулах будут перевернутый.

Для логарифма можно выбрать любое основание.

${displaystyle x '= log (x) в mathbb {R}}$

${displaystyle y '= log (y) в mathbb {R}}$

Основные манипуляции

Произведение вероятностей ${displaystyle xcdot y}$ соответствует сложению в логарифмическом пространстве.

${displaystyle log (xcdot y) = log (x) + log (y) = x '+ y'}$.

В сумма вероятностей ${displaystyle x + y}$ немного сложнее для вычисления в логарифмическом пространстве, требуя вычисления одного показателя степени и одного логарифма.

Однако во многих приложениях умножение вероятностей (дающее вероятность возникновения всех независимых событий) используется чаще, чем их сложение (дающее вероятность хотя бы одного из них). Кроме того, в некоторых ситуациях можно избежать затрат на вычисление сложения, просто используя наивысшую вероятность в качестве приближения. Поскольку вероятности неотрицательны, это дает нижнюю границу. Это приближение используется в обратном порядке, чтобы получить непрерывная аппроксимация функции max.

Добавление в пространство журнала

${журнал displaystyle (x + y)}$

${displaystyle = log (x + xcdot y / x)}$

${displaystyle = log (x + xcdot exp (log (y / x)))}$

${displaystyle = log (xcdot (1 + exp (log (y) -log (x))))}$

${displaystyle = log (x) + log (1 + exp (log (y) -log (x)))}$

${displaystyle = x '+ log (1 + exp (y'-x'))}$

Приведенная выше формула более точна, чем ${журнал displaystyle (e ^ {x '} + e ^ {y'})}$при условии использования асимметрии в формуле сложения. ${displaystyle {x '}}$ должен быть большим (наименее отрицательным) из двух операндов. Это также обеспечивает правильное поведение, если один из операндов плавающая точка отрицательная бесконечность, что соответствует нулевой вероятности.

${displaystyle -infty + log (1 + exp (y '- (- infty))) = - infty + infty}$ Это количество неопределенный, и приведет к NaN.

${displaystyle x '+ log (1 + exp (-infty -x')) = x '+ 0}$ Это желаемый ответ.

Сама по себе приведенная выше формула неправильно даст неопределенный результат в том случае, если оба аргумента ${displaystyle -infty}$. Это следует проверить отдельно, чтобы вернуть ${displaystyle -infty}$.

По численным причинам следует использовать функцию, которая вычисляет ${журнал displaystyle (1 + x)}$ (log1p ) напрямую.

Смотрите также

• Информационное содержание
• Логарифмическая вероятность