Оценка энтропии - Entropy estimation

В различных научных / инженерных приложениях, таких как независимый компонентный анализ,[1] анализ изображений,[2] генетический анализ,[3] распознавание речи,[4] многообразное обучение,[5] оценка статуса биологические системы[6][7][8]и оценка времени задержки[9] это полезно оценить дифференциальная энтропия системы или процесса, учитывая некоторые наблюдения.

Самый простой и распространенный подход использует гистограмма оценки, но были разработаны и использованы другие подходы, каждый со своими преимуществами и недостатками.[10] Основным фактором при выборе метода часто является компромисс между систематической ошибкой и дисперсией оценки.[11] хотя характер (предполагаемого) распространения данных также может быть фактором.[10]

Оценщик гистограммы

Простой способ оценки распределения вероятностей биологической переменной с энтропией, нормированной на ее максимальное значение (),[7]

демонстрирует преимущества перед стандартными физиологическими показателями при оценке функционального состояния сердечно-сосудистый,[6] нервный[7] и невосприимчивый[8] системы.

Другой подход использует идею о том, что дифференциальная энтропия,

можно аппроксимировать, производя гистограмма наблюдений, а затем найти дискретную энтропию

этой гистограммы (которая сама по себе оценка максимального правдоподобия (ML) дискретизированного частотного распределения[нужна цитата ]), где ш это ширина яй бункер. Гистограммы можно быстро вычислить и просто, поэтому у этого подхода есть некоторые преимущества. Однако полученная оценка пристрастный, и хотя в оценку можно внести исправления, они не всегда могут быть удовлетворительными.[12]

Метод, лучше подходящий для многомерных функции плотности вероятности (pdf) - сначала сделать оценка в формате PDF каким-либо методом, а затем, исходя из оценки PDF, вычислить энтропию. Полезный метод оценки PDF, например, Гауссовский моделирование смеси (GMM), где максимизация ожидания (EM) алгоритм используется для нахождения ML-оценки взвешенная сумма гауссовского PDF, аппроксимирующего данные PDF.

Оценки на основе интервалов выборки

Если данные одномерные, мы можем представить, как взять все наблюдения и расположить их в порядке их ценности. Расстояние между одним значением и другим дает нам приблизительное представление о ( взаимный из) плотности вероятности в этой области: чем ближе друг к другу значения, тем выше плотность вероятности. Это очень приблизительная оценка с высокой отклонение, но можно улучшить, например, подумав о промежутке между заданным значением и м подальше от него, где м какое-то фиксированное число.[10]

Плотность вероятности, оцененная таким образом, затем может быть использована для вычисления оценки энтропии аналогично тому, как это указано выше для гистограммы, но с некоторыми небольшими изменениями.

Один из основных недостатков этого подхода - выход за пределы одного измерения: идея выстраивания точек данных по порядку разваливается более чем в одном измерении. Однако с использованием аналогичных методов были разработаны некоторые многомерные оценки энтропии.[13][14]

Оценки на основе ближайших соседей

Для каждой точки в нашем наборе данных мы можем найти расстояние до ее ближайший сосед. Фактически мы можем оценить энтропию по распределению расстояний до ближайших соседей наших точек данных.[10] (При равномерном распределении все эти расстояния имеют тенденцию быть довольно похожими, тогда как при сильно неоднородном распределении они могут различаться намного больше.)

Байесовская оценка

В режиме недостаточной выборки предварительное распределение может помочь в оценке. Один такой Байесовская оценка был предложен в контексте нейробиологии, известный как NSB (Неменман –Шафи–Биалек ) оценщик.[15][16] Оценщик NSB использует смесь Дирихле приор, выбранный таким образом, чтобы индуцированный апор над энтропией был приблизительно однородным.

Оценки на основе ожидаемой энтропии

Новый подход к проблеме оценки энтропии заключается в сравнении ожидаемой энтропии выборки случайной последовательности с вычисленной энтропией выборки. Метод дает очень точные результаты, но он ограничивается расчетами случайных последовательностей, смоделированных как Цепи Маркова первого порядка с небольшими значениями смещения и корреляций. Это первый известный метод, который учитывает размер выборочной последовательности и его влияние на точность вычисления энтропии.[17][18]

Рекомендации

  1. ^ Динь-Туан Фам (2004) Быстрые алгоритмы для анализа независимых компонентов на основе взаимной информации. В Обработка сигналов. Volume 52, Issue 10, 2690–2700, стр. Дои:10.1109 / TSP.2004.834398
  2. ^ Chang, C.-I .; Du, Y .; Wang, J .; Guo, S.-M .; Туин, П. (2006) Обзор и сравнительный анализ методов определения пороговых значений энтропии и относительной энтропии. В Зрение, обработка изображений и сигналов, Volume 153, Issue 6, 837–850, г. Дои:10.1049 / IP-Vis: 20050032
  3. ^ Мартинс, Д.С. и другие. (2008) Внутренне многофакторные прогностические гены. В Избранные темы обработки сигналов. Том 2, Выпуск 3, 424–439, Дои:10.1109 / JSTSP.2008.923841
  4. ^ Gue Jun Jung; Юнг-Хван О (2008) Информационная дистанционная кластеризация подвекторов для квантования параметров ASR. В Письма об обработке сигналов, Том 15, 209–212, Дои:10.1109 / LSP.2007.913132
  5. ^ Costa, J.A .; Герой, А. (2004), Геодезические энтропийные графы для оценки размерности и энтропии в обучении многообразию. В Обработка сигналов, Volume 52, Issue 8, 2210–2221, г. Дои:10.1109 / TSP.2004.831130
  6. ^ а б Герасимов, И.Г .; Игнатов, Д.Ю. (2005). «Влияние отрицательного давления нижней части тела на вариабельность сердечного ритма». Физиология человека. 31 (4): 421–424. Дои:10.1007 / s10747-005-0070-8. PMID  16122036.
  7. ^ а б c Казаков, В.Н .; Кузнецов И.Е .; Герасимов, И.Г .; Игнатов, Д.Ю. (2001). «Информационный подход к анализу низкочастотной импульсной активности нейронов в ростральном гипоталамусе». Нейрофизиология. 33 (4): 235–241. Дои:10.1023 / А: 1013524700429.
  8. ^ а б Игнатов Дмитрий Ю. (2012). Функциональная гетерогенность нейтрофилов человека и их роль в регуляции количества лейкоцитов периферической крови (Кандидат наук). Донецкий национальный медицинский университет. Дои:10.13140 / RG.2.2.35542.34884.
  9. ^ Benesty, J .; Yiteng Huang; Jingdong Chen (2007) Оценка временной задержки с помощью минимальной энтропии. В Письма об обработке сигналов, Volume 14, Issue 3, March 2007 157–160 Дои:10.1109 / LSP.2006.884038
  10. ^ а б c d J. Beirlant, E. J. Dudewicz, L. Gyorfi и E.C. van der Meulen (1997) Непараметрическая оценка энтропии: обзор. В Международный журнал математических и статистических наук, Том 6, стр. 17–39.
  11. ^ T. Schürmann, Анализ смещения в оценке энтропии. В J. Phys. A: Математика. Gen, 37 (2004), стр. L295 – L301. Дои:10.1088 / 0305-4470 / 37/27 / L02
  12. ^ Г. Миллер (1955) Замечание о систематической ошибке оценок информации. В Теория информации в психологии: проблемы и методыС. 95–100.
  13. ^ Э. Г. Леренн-Миллер (2003) Новый класс оценок энтропии для многомерных плотностей, в Труды Международная конференция по акустике, речи и обработке сигналов (ICASSP’03), т. 3, апрель 2003 г., стр. 297–300.
  14. ^ I. Lee (2010) Оценки плотности и энтропии на основе интервалов выборки для сферически инвариантных многомерных данных, In Нейронные вычисления, т. 22, выпуск 8, апрель 2010 г., стр. 2208–2227.
  15. ^ Илья Неменман, Фариэль Шафи, Уильям Биалек (2003) Энтропия и вывод, повторение. Достижения в обработке нейронной информации
  16. ^ Илья Неменман, Уильям Биалек, де Рюйтер (2004) Энтропия и информация в поездах нервных импульсов: прогресс в проблеме выборки. Физический обзор E
  17. ^ Марек Лесневич (2014) Ожидаемая энтропия как мера и критерий случайности двоичных последовательностей [1] В Przeglad Elektrotechniczny, Том 90, 1/2014, стр. 42–46.
  18. ^ Марек Лесневич (2016) Анализ и измерения аппаратно генерируемых случайных двоичных последовательностей, смоделированных как цепи Маркова [2] В Przeglad Elektrotechniczny, Том 92, 11/2016, стр. 268-274.