Неравенство фаноса - Википедия - Fanos inequality

В теория информации, Неравенство Фано (также известный как Фано-конверс и Лемма Фано) связывает среднее значение информации, потерянной в канале с шумом, с вероятностью ошибки категоризации. Это было получено Роберт Фано в начале 1950-х годов, преподавая Кандидат наук. семинар по теории информации в Массачусетский технологический институт, а затем записано в его учебнике 1961 года.

Он используется для определения нижней границы вероятности ошибки любого декодера, а также нижней границы для минимаксные риски в оценка плотности.

Пусть случайные переменные и представляют входные и выходные сообщения с совместная вероятность . Позволять представляют возникновение ошибки; то есть, что , с являясь приблизительной версией . Неравенство Фано

куда обозначает поддержку ,

это условная энтропия,

- вероятность ошибки связи, и

соответствующий двоичная энтропия.

Альтернативная формулировка

Позволять быть случайная переменная с плотность равно одному из возможные плотности . Кроме того, Дивергенция Кульбака – Лейблера между любой парой плотностей не может быть слишком большой,

для всех

Позволять быть оценкой индекса. потом

куда это вероятность индуцированный

Обобщение

Следующее обобщение принадлежит Ибрагимову и Хасминскому (1979), Ассуаду и Бирджу (1983).

Позволять F быть классом плотностей с подклассом р + 1 плотности ƒθ такой, что для любого θ ≠ θ

Тогда в худшем случае ожидаемое значение погрешности оценки ограничивается снизу,

куда ƒп есть ли оценщик плотности на основе образец размера п.

Рекомендации

  • П. Ассуад, "Deux remarques sur l'estimation", Comptes Rendus de l'Académie des Sciences de Paris, Vol. 296, стр. 1021–1024, 1983.
  • Л. Бирж, "Оценка плотности при ограничениях порядка: неасимптотический минимаксный риск", Технический отчет, UER de Sciences Économiques, Universite Paris X, Нантер, Франция, 1983.
  • Т. Кавер, Дж. Томас (1991). Элементы теории информации. стр.38–42. ISBN  978-0-471-06259-2.
  • Л. Деврой, Курс оценки плотности. Прогресс в области вероятности и статистики, Том 14. Бостон, Биркхаузер, 1987. ISBN  0-8176-3365-0, ISBN  3-7643-3365-0.
  • Фано, Роберт (1968). Передача информации: статистическая теория коммуникации. Кембридж, Массачусетс: MIT Press. ISBN  978-0-262-56169-3. OCLC  804123877.CS1 maint: ref = harv (связь)
    • также: Кембридж, Массачусетс, M.I.T. Пресс, 1961. ISBN  0-262-06001-9
  • Р. Фано, Неравенство Фано Scholarpedia, 2008.
  • Ибрагимов И.А., Хасьминский Р.З., Статистическое оценивание, асимптотическая теория. Приложения математики, т. 16, Springer-Verlag, Нью-Йорк, 1981. ISBN  0-387-90523-5