Дифференциальная энтропия - Differential entropy

Дифференциальная энтропия (также называемый непрерывная энтропия) - это концепция в теория информации это началось как попытка Шеннон расширить идею (Шеннон) энтропия, мера среднего неожиданный из случайная переменная, чтобы непрерывно распределения вероятностей. К сожалению, Шеннон не вывел эту формулу, а просто предположил, что это правильный непрерывный аналог дискретной энтропии, но это не так.^[1]^:181–218 Фактическая непрерывная версия дискретной энтропии - это предельная плотность дискретных точек (LDDP). Дифференциальная энтропия (описанная здесь) обычно встречается в литературе, но это предельный случай LDDP, который теряет свою фундаментальную связь с дискретными энтропия.

Определение

Позволять ${displaystyle X}$ быть случайной величиной с функция плотности вероятности ${displaystyle f}$ чей поддерживать это набор ${displaystyle {mathcal {X}}}$ . В дифференциальная энтропия ${displaystyle h (X)}$ или же ${displaystyle h (f)}$ определяется как^[2]^:243

${displaystyle h (X) = - int _ {mathcal {X}} f (x) log f (x), dx}$

Для распределений вероятностей, которые не имеют явного выражения функции плотности, но имеют явное квантильная функция выражение, ${displaystyle Q (p)}$ , тогда ${displaystyle h (Q)}$ можно определить в терминах производной от ${displaystyle Q (p)}$ т.е. квантильная функция плотности ${displaystyle Q '(p)}$ в качестве ^[3]^:54–59

{displaystyle h (Q) = int _ {0} ^ {1} log Q '(p), dp}

.

Как и в случае с его дискретным аналогом, единицы дифференциальной энтропии зависят от основания логарифм, что обычно равно 2 (т.е. биты ). Видеть логарифмические единицы для логарифмов, взятых по разным основаниям. Связанные понятия, такие как соединение, условный дифференциальная энтропия и относительная энтропия определяются аналогичным образом. В отличие от дискретного аналога, дифференциальная энтропия имеет смещение, которое зависит от единиц измерения, используемых для измерения. ${displaystyle X}$ .^[4]^:183–184 Например, дифференциальная энтропия величины, измеренной в миллиметрах, будет на log (1000) больше, чем такая же величина, измеренная в метрах; безразмерная величина будет иметь дифференциальную энтропию на log (1000) больше, чем такая же величина, деленная на 1000.

Следует проявлять осторожность, пытаясь применить свойства дискретной энтропии к дифференциальной энтропии, поскольку функции плотности вероятности могут быть больше 1. Например, равномерное распределение ${displaystyle {mathcal {U}} (0,1 / 2)}$ имеет отрицательный дифференциальная энтропия

{displaystyle int _ {0} ^ {frac {1} {2}} - 2log (2), dx = -log (2),}

.

Таким образом, дифференциальная энтропия не обладает всеми свойствами дискретной энтропии.

Обратите внимание, что непрерывный взаимная информация ${displaystyle I (X; Y)}$ отличается тем, что сохраняет свое фундаментальное значение в качестве меры дискретной информации, поскольку фактически является пределом дискретной взаимной информации перегородки из ${displaystyle X}$ и ${displaystyle Y}$ поскольку эти перегородки становятся все тоньше и тоньше. Таким образом, он инвариантен относительно нелинейных гомеоморфизмы (непрерывные и однозначно обратимые отображения), ^[5] включая линейные ^[6] трансформации ${displaystyle X}$ и ${displaystyle Y}$ , и по-прежнему представляет количество дискретной информации, которая может быть передана по каналу, допускающему непрерывное пространство значений.

О прямом аналоге дискретной энтропии, распространенном на непрерывное пространство, см. предельная плотность дискретных точек.

Свойства дифференциальной энтропии

Для плотностей вероятностей ${displaystyle f}$ и ${displaystyle g}$ , то Дивергенция Кульбака – Лейблера ${displaystyle D_ {KL} (f || g)}$ больше или равно 0 с равенством, только если ${displaystyle f = g}$ почти всюду. Аналогично для двух случайных величин ${displaystyle X}$ и ${displaystyle Y}$ , ${displaystyle I (X; Y) geq 0}$ и ${displaystyle h (X | Y) leq h (X)}$ с равенством если и только если ${displaystyle X}$ и ${displaystyle Y}$ находятся независимый.
Цепное правило для дифференциальной энтропии выполняется так же, как и в дискретном случае^[2]^:253

{displaystyle h (X_ {1}, ldots, X_ {n}) = sum _ {i = 1} ^ {n} h (X_ {i} | X_ {1}, ldots, X_ {i-1}) leq сумма _ {i = 1} ^ {n} h (X_ {i})}

.

Дифференциальная энтропия инвариантна относительно трансляции, т.е. для константы ${displaystyle c}$ .^[2]^:253

{displaystyle h (X + c) = h (X)}

Дифференциальная энтропия, вообще говоря, не инвариантна относительно произвольных обратимых отображений.

В частности, для постоянного

{displaystyle a}

{displaystyle h (aX) = h (X) + log | a |}

Для векторной случайной величины

{displaystyle mathbf {X}}

и обратимый (квадрат) матрица

{displaystyle mathbf {A}}

{displaystyle h (mathbf {A} mathbf {X}) = h (mathbf {X}) + log left (| det mathbf {A} | ight)}

^[2]^:253

В общем, для преобразования случайного вектора в другой случайный вектор той же размерности ${displaystyle mathbf {Y} = mleft (mathbf {X} ight)}$ , соответствующие энтропии связаны соотношением

{displaystyle h (mathbf {Y}) leq h (mathbf {X}) + int f (x) log leftvert {frac {partial m} {partial x}} ightvert dx}

куда

{displaystyle leftvert {frac {partial m} {partial x}} ightvert}

это Якобиан трансформации

{displaystyle m}

.^[7] Вышеупомянутое неравенство становится равенством, если преобразование является биекцией. Кроме того, когда

{displaystyle m}

- жесткое вращение, перенос или их комбинация, определитель Якоби всегда равен 1, и

{displaystyle h (Y) = h (X)}

.

Если случайный вектор ${displaystyle Xin mathbb {R} ^ {n}}$ имеет нулевое среднее значение и ковариация матрица ${displaystyle K}$ , ${displaystyle h (mathbf {X}) leq {frac {1} {2}} log (det {2pi eK}) = {frac {1} {2}} log [(2pi e) ^ {n} det {K }]}$ с равенством тогда и только тогда, когда ${displaystyle X}$ является совместно гауссовский (видеть ниже ).^[2]^:254

Однако у дифференциальной энтропии нет других желаемых свойств:

Он не инвариантен относительно замена переменных, и поэтому наиболее полезен для безразмерных переменных.
Это может быть отрицательно.

Модификация дифференциальной энтропии, которая устраняет эти недостатки, представляет собой относительная информационная энтропия, также известное как расхождение Кульбака – Лейблера, которое включает инвариантная мера фактор (см. предельная плотность дискретных точек ).

Максимизация в нормальном распределении

Теорема

С нормальное распределение, дифференциальная энтропия максимизируется для данной дисперсии. Гауссовская случайная величина имеет самую большую энтропию среди всех случайных величин с равной дисперсией, или, альтернативно, максимальное распределение энтропии при ограничениях среднего и дисперсии является гауссовым.^[2]^:255

Доказательство

Позволять ${displaystyle g (x)}$ быть Гауссовский PDF со средним μ и дисперсией ${displaystyle sigma ^ {2}}$ и ${displaystyle f (x)}$ произвольный PDF с такой же дисперсией. Поскольку дифференциальная энтропия инвариантна относительно сдвига, можно считать, что ${displaystyle f (x)}$ имеет то же среднее значение ${displaystyle mu}$ в качестве ${displaystyle g (x)}$ .

Рассмотрим Дивергенция Кульбака – Лейблера между двумя дистрибутивами

{displaystyle 0leq D_ {KL} (f || g) = int _ {- infty} ^ {infty} f (x) log left ({frac {f (x)} {g (x)}} ight) dx = -h (f) -int _ {- infty} ^ {infty} f (x) log (g (x)) dx.}

Обратите внимание, что

{displaystyle {egin {выравнивается} int _ {- infty} ^ {infty} f (x) log (g (x)) dx & = int _ {- infty} ^ {infty} f (x) log left ({frac { 1} {sqrt {2pi sigma ^ {2}}}} e ^ {- {frac {(x-mu) ^ {2}} {2sigma ^ {2}}}} ight) dx & = int _ {- infty} ^ {infty} f (x) log {frac {1} {sqrt {2pi sigma ^ {2}}}} dx + log (e) int _ {- infty} ^ {infty} f (x) left ( - {frac {(x-mu) ^ {2}} {2sigma ^ {2}}} ight) dx & = - {frac {1} {2}} log (2pi sigma ^ {2}) - log ( e) {frac {sigma ^ {2}} {2sigma ^ {2}}} & = - {frac {1} {2}} влево (log (2pi sigma ^ {2}) + log (e) ight) & = - {frac {1} {2}} log (2pi esigma ^ {2}) & = - h (g) конец {выровнено}}}

потому что результат не зависит от ${displaystyle f (x)}$ кроме как через дисперсию. Объединение двух результатов дает

{displaystyle h (g) -h (f) geq 0!}

с равенством, когда ${displaystyle f (x) = g (x)}$ вытекающие из свойств расходимости Кульбака – Лейблера.

Альтернативное доказательство

Этот результат также можно продемонстрировать с помощью вариационное исчисление. Функция Лагранжа с двумя Лагранжевы множители можно определить как:

{displaystyle L = int _ {- infty} ^ {infty} g (x) ln (g (x)), dx-lambda _ {0} left (1-int _ {- infty} ^ {infty} g (x ), dxight) -lambda left (sigma ^ {2} -int _ {- infty} ^ {infty} g (x) (x-mu) ^ {2}, dxight)}

куда г (х) - некоторая функция со средним μ. Когда энтропия г (х) является максимальным, а уравнения связи, состоящие из условия нормировки ${displaystyle left (1 = int _ {- infty} ^ {infty} g (x), dxight)}$ и требование фиксированной дисперсии ${displaystyle left (sigma ^ {2} = int _ {- infty} ^ {infty} g (x) (x-mu) ^ {2}, dxight)}$ , оба выполняются, то небольшое изменение δграмм(Икс) о г (х) произведет вариацию δL о L который равен нулю:

{displaystyle 0 = delta L = int _ {- infty} ^ {infty} delta g (x) left (ln (g (x)) + 1 + lambda _ {0} + lambda (x-mu) ^ {2}) ight), dx}

Поскольку это должно выполняться для любого малого δграмм(Икс), член в скобках должен быть равен нулю, и решение для г (х) дает:

{displaystyle g (x) = e ^ {- lambda _ {0} -1-lambda (x-mu) ^ {2}}}

Используя уравнения связей для нахождения λ₀ а λ дает нормальное распределение:

{displaystyle g (x) = {frac {1} {sqrt {2pi sigma ^ {2}}}} e ^ {- {frac {(x-mu) ^ {2}} {2sigma ^ {2}}}} }

Пример: экспоненциальное распределение

Позволять ${displaystyle X}$ быть экспоненциально распределенный случайная величина с параметром ${displaystyle lambda}$ , то есть с функцией плотности вероятности

{displaystyle f (x) = lambda e ^ {- lambda x} {mbox {for}} xgeq 0.}

Тогда его дифференциальная энтропия равна

${displaystyle h_ {e} (X),}$	${displaystyle = -int _ {0} ^ {infty} lambda e ^ {- lambda x} log (lambda e ^ {- lambda x}), dx}$
	${displaystyle = -left (int _ {0} ^ {infty} (log lambda) lambda e ^ {- lambda x}, dx + int _ {0} ^ {infty} (- lambda x) lambda e ^ {- lambda x}, dxight)}$
	${displaystyle = -log lambda int _ {0} ^ {infty} f (x), dx + lambda E [X]}$
	${displaystyle = -log лямбда +1 ,.}$

Здесь, ${displaystyle h_ {e} (X)}$ был использован, а не ${displaystyle h (X)}$ чтобы было ясно, что логарифм взят за основу е, чтобы упростить расчет.

Связь с ошибкой оценщика

Дифференциальная энтропия дает нижнюю границу ожидаемой квадратичной ошибки оценщик. Для любой случайной величины ${displaystyle X}$ и оценщик ${displaystyle {widehat {X}}}$ имеет место следующее:^[2]

{displaystyle operatorname {E} [(X- {widehat {X}}) ^ {2}] geq {frac {1} {2pi e}} e ^ {2h (X)}}

с равенством тогда и только тогда, когда ${displaystyle X}$ - гауссовская случайная величина и ${displaystyle {widehat {X}}}$ среднее значение ${displaystyle X}$ .

Дифференциальные энтропии для различных распределений

В таблице ниже ${displaystyle Gamma (x) = int _ {0} ^ {infty} e ^ {- t} t ^ {x-1} dt}$ это гамма-функция, ${displaystyle psi (x) = {frac {d} {dx}} ln Gamma (x) = {frac {Gamma '(x)} {Gamma (x)}}}$ это функция дигаммы, ${displaystyle B (p, q) = {frac {Gamma (p) Gamma (q)} {Gamma (p + q)}}}$ это бета-функция, а γ_E является Постоянная Эйлера.^[8]^:219–230

Таблица дифференциальных энтропий
Название дистрибутива	Функция плотности вероятности (pdf)	Энтропия в нац	Поддерживать
Униформа	${displaystyle f (x) = {гидроразрыв {1} {b-a}}}$	${displaystyle ln (b-a),}$	${displaystyle [a, b],}$
Нормальный	${displaystyle f (x) = {frac {1} {sqrt {2pi sigma ^ {2}}}} exp left (- {frac {(x-mu) ^ {2}} {2sigma ^ {2}}} ight )}$	${displaystyle ln left (sigma {sqrt {2, pi, e}} ight)}$	${displaystyle (-infty, infty),}$
Экспоненциальный	${displaystyle f (x) = lambda exp left (-lambda xight)}$	${displaystyle 1-ln lambda,}$	${displaystyle [0, infty),}$
Рэлей	${displaystyle f (x) = {frac {x} {sigma ^ {2}}} exp left (- {frac {x ^ {2}} {2sigma ^ {2}}} ight)}$	${displaystyle 1 + ln {frac {sigma} {sqrt {2}}} + {frac {gamma _ {E}} {2}}}$	${displaystyle [0, infty),}$
Бета	${displaystyle f (x) = {frac {x ^ {alpha -1} (1-x) ^ {eta -1}} {B (alpha, eta)}}}$ за ${displaystyle 0leq xleq 1}$	${displaystyle ln B (alpha, eta) - (alpha -1) [psi (alpha) -psi (alpha + eta)],}$ ${displaystyle - (eta -1) [psi (eta) -psi (альфа + эта)],}$	${displaystyle [0,1],}$
Коши	${displaystyle f (x) = {frac {gamma} {pi}} {frac {1} {gamma ^ {2} + x ^ {2}}}}$	${displaystyle ln (4pi gamma),}$	${displaystyle (-infty, infty),}$
Чи	${displaystyle f (x) = {frac {2} {2 ^ {k / 2} Gamma (k / 2)}} x ^ {k-1} exp left (- {frac {x ^ {2}} {2 }} ight)}$	${displaystyle ln {frac {Gamma (k / 2)} {sqrt {2}}} - {frac {k-1} {2}} psi left ({frac {k} {2}} ight) + {frac { k} {2}}}$	${displaystyle [0, infty),}$
Хи-квадрат	${displaystyle f (x) = {frac {1} {2 ^ {k / 2} Gamma (k / 2)}} x ^ {{frac {k} {2}}! -! 1} exp left (- { frac {x} {2}} ight)}$	${displaystyle ln 2Gamma left ({frac {k} {2}} ight) -left (1- {frac {k} {2}} ight) psi left ({frac {k} {2}} ight) + {frac {k} {2}}}$	${displaystyle [0, infty),}$
Erlang	${displaystyle f (x) = {frac {lambda ^ {k}} {(k-1)!}} x ^ {k-1} exp (-lambda x)}$	${displaystyle (1-k) psi (k) + ln {frac {Gamma (k)} {lambda}} + k}$	${displaystyle [0, infty),}$
F	${displaystyle f (x) = {frac {n_ {1} ^ {frac {n_ {1}} {2}} n_ {2} ^ {frac {n_ {2}} {2}}} {B ({frac {n_ {1}} {2}}, {frac {n_ {2}} {2}})}} {frac {x ^ {{frac {n_ {1}} {2}} - 1}} {( n_ {2} + n_ {1} x) ^ {гидроразрыв {n_ {1} + n2} {2}}}}}$	${displaystyle ln {frac {n_ {1}} {n_ {2}}} Bleft ({frac {n_ {1}} {2}}, {frac {n_ {2}} {2}} ight) + left ( 1- {frac {n_ {1}} {2}} ight) psi left ({frac {n_ {1}} {2}} ight) -}$ ${displaystyle left (1+ {frac {n_ {2}} {2}} ight) psi left ({frac {n_ {2}} {2}} ight) + {frac {n_ {1} + n_ {2}) } {2}} psi влево ({frac {n_ {1}! +! N_ {2}} {2}} ight)}$	${displaystyle [0, infty),}$
Гамма	${displaystyle f (x) = {frac {x ^ {k-1} exp (- {frac {x} {heta}})} {heta ^ {k} Gamma (k)}}}$	${displaystyle ln (heta Gamma (k)) + (1-k) psi (k) + k,}$	${displaystyle [0, infty),}$
Лаплас	${displaystyle f (x) = {frac {1} {2b}} exp left (- {frac {\| x-mu \|} {b}} ight)}$	${displaystyle 1 + ln (2b),}$	${displaystyle (-infty, infty),}$
Логистика	${displaystyle f (x) = {гидроразрыв {e ^ {- x}} {(1 + e ^ {- x}) ^ {2}}}}$	${displaystyle 2,}$	${displaystyle (-infty, infty),}$
Логнормальный	${displaystyle f (x) = {frac {1} {sigma x {sqrt {2pi}}}} exp left (- {frac {(ln x-mu) ^ {2}} {2sigma ^ {2}}} ight )}$	${displaystyle mu + {frac {1} {2}} ln (2pi esigma ^ {2})}$	${displaystyle [0, infty),}$
Максвелл – Больцманн	${displaystyle f (x) = {frac {1} {a ^ {3}}} {sqrt {frac {2} {pi}}}, x ^ {2} exp left (- {frac {x ^ {2}) } {2a ^ {2}}} ight)}$	${displaystyle ln (a {sqrt {2pi}}) + gamma _ {E} - {frac {1} {2}}}$	${displaystyle [0, infty),}$
Обобщенный нормальный	${displaystyle f (x) = {frac {2 eta ^ {frac {alpha} {2}}} {Gamma ({frac {alpha} {2}})}} x ^ {alpha -1} exp (- eta x ^ {2})}$	${displaystyle ln {frac {Gamma (alpha / 2)} {2 eta ^ {frac {1} {2}}}} - {frac {alpha -1} {2}} psi left ({frac {alpha} {2 }} ight) + {frac {alpha} {2}}}$	${displaystyle (-infty, infty),}$
Парето	${displaystyle f (x) = {frac {alpha x_ {m} ^ {alpha}} {x ^ {alpha +1}}}}$	${displaystyle ln {frac {x_ {m}} {alpha}} + 1+ {frac {1} {alpha}}}$	${displaystyle [x_ {m}, infty),}$
Студенческий т	${displaystyle f (x) = {frac {(1 + x ^ {2} / u) ^ {- {frac {u +1} {2}}}} {{sqrt {u}} B ({frac {1 } {2}}, {гидроразрыв {u} {2}})}}}$	${displaystyle {frac {u! +! 1} {2}} left (psi left ({frac {u! +! 1} {2}} ight)! -! psi left ({frac {u} {2}}) ight) ight)! +! ln {sqrt {u}} Bleft ({frac {1} {2}}, {frac {u} {2}} ight)}$	${displaystyle (-infty, infty),}$
Треугольный	${displaystyle f (x) = {egin {case} {frac {2 (xa)} {(ba) (ca)}} & mathrm {for} aleq xleq c, [4pt] {frac {2 (bx)} { (ba) (bc)}} & mathrm {for} c$	${displaystyle {frac {1} {2}} + ln {frac {b-a} {2}}}$	${displaystyle [0,1],}$
Weibull	${displaystyle f (x) = {frac {k} {lambda ^ {k}}} x ^ {k-1} exp left (- {frac {x ^ {k}} {lambda ^ {k}}} ight) }$	${displaystyle {frac {(k-1) gamma _ {E}} {k}} + ln {frac {lambda} {k}} + 1}$	${displaystyle [0, infty),}$
Многомерный нормальный	${displaystyle f_ {X} ({vec {x}}) =}$ ${displaystyle {frac {exp left (- {frac {1} {2}} ({vec {x}} - {vec {mu}}) ^ {op} Sigma ^ {- 1} cdot ({vec {x}) } - {vec {mu}}) ight)} {(2pi) ^ {N / 2} left \| Sigma ight \| ^ {1/2}}}}$	${displaystyle {frac {1} {2}} ln {(2pi e) ^ {N} det (Sigma)}}$	${displaystyle mathbb {R} ^ {N}}$

Многие из дифференциальных энтропий происходят от.^[9]^:120–122

Варианты

Как описано выше, дифференциальная энтропия не обладает всеми свойствами дискретной энтропии. Например, дифференциальная энтропия может быть отрицательной; также он не инвариантен относительно непрерывных преобразований координат. Эдвин Томпсон Джейнс фактически показал, что приведенное выше выражение не является правильным пределом выражения для конечного набора вероятностей.^[10]^:181–218

Модификация дифференциальной энтропии добавляет инвариантная мера фактор, чтобы исправить это, (см. предельная плотность дискретных точек ). Если ${displaystyle m (x)}$ далее ограничивается как плотность вероятности, результирующее понятие называется относительная энтропия в теории информации:

{displaystyle D (p || m) = int p (x) log {frac {p (x)} {m (x)}}, dx.}

Приведенное выше определение дифференциальной энтропии может быть получено путем разделения диапазона значений ${displaystyle X}$ в ячейки длины ${displaystyle h}$ с соответствующими точками отбора проб ${displaystyle ih}$ в ящиках для ${displaystyle X}$ Риман интегрируемый. Это дает квантованный версия ${displaystyle X}$ , определяется ${displaystyle X_ {h} = ih}$ если ${displaystyle ihleq Xleq (i + 1) h}$ . Тогда энтропия ${displaystyle X_ {h} = ih}$ является^[2]

{displaystyle H_ {h} = - sum _ {i} hf (ih) log (f (ih)) - sum hf (ih) log (h).}

Первый член справа аппроксимирует дифференциальную энтропию, а второй член приблизительно ${displaystyle -log (h)}$ . Обратите внимание, что эта процедура предполагает, что энтропия в дискретном смысле непрерывная случайная величина должно быть ${displaystyle infty}$ .

Смотрите также

внешняя ссылка

[1] Джейнс, Э. (1963). «Теория информации и статистическая механика» (PDF). Лекции по теоретической физике Летнего института Университета Брандейс. 3 (раздел 4b).

[cover_thomas-2] а ^б ^c ^d ^е ^ж ^грамм ^час Обложка, Томас М .; Томас, Джой А. (1991). Элементы теории информации. Нью-Йорк: Вили. ISBN 0-471-06259-6.

[3] Васичек, Олдрих (1976), "Тест на нормальность, основанный на выборочной энтропии", Журнал Королевского статистического общества, серия B, 38 (1), JSTOR 2984828.

[gibbs-4] Гиббс, Джозия Уиллард (1902). Элементарные принципы статистической механики, разработанные с особым упором на рациональную основу термодинамики. Нью-Йорк: Сыновья Чарльза Скрибнера.

[5] Красков, Александр; Stögbauer, Grassberger (2004). «Оценка взаимной информации». Физический обзор E. 60: 066138. arXiv:cond-mat / 0305641. Bibcode:2004PhRvE..69f6138K. Дои:10.1103 / PhysRevE.69.066138.

[Reza-6] Фазлолла М.Реза (1994) [1961]. Введение в теорию информации. Dover Publications, Inc., Нью-Йорк. ISBN 0-486-68210-2.

[7] "доказательство верхней границы дифференциальной энтропии f (X)". Обмен стеком. 16 апреля 2016 г.

[8] Park, Sung Y .; Бера, Анил К. (2009). «Модель условной гетероскедастичности авторегрессии с максимальной энтропией» (PDF). Журнал эконометрики. Эльзевир. Архивировано из оригинал (PDF) на 2016-03-07. Получено 2011-06-02.

[lazorathie-9] Лазо, А. и П. Рати (1978). «Об энтропии непрерывных распределений вероятностей». IEEE Transactions по теории информации. 24 (1): 120–122. Дои:10.1109 / TIT.1978.1055832.

[10] Джейнс, Э. (1963). «Теория информации и статистическая механика» (PDF). Лекции по теоретической физике Летнего института Университета Брандейс. 3 (раздел 4b).

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]