Бинарный симметричный канал - Binary symmetric channel
Эта статья включает в себя список общих Рекомендации, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты.Март 2013 г.) (Узнайте, как и когда удалить этот шаблон сообщения) ( |
А двоичный симметричный канал (или же BSCп) является обычным канал связи модель, используемая в теория кодирования и теория информации. В этой модели передатчик хочет послать кусочек (ноль или единица), и получатель получит бит. Бит будет «перевернут» с помощью «кроссовера». вероятность " из п, а в противном случае принимается правильно. Эта модель может быть применена к различным каналам связи, таким как телефонные линии или дисковод место хранения.
В теорема кодирования с шумом относится к BSCп, говоря, что информацию можно передавать с любой скоростью до пропускная способность канала со сколь угодно малой ошибкой. Емкость канала составляет биты, где это бинарная функция энтропии. Коды, включая код Форни, были разработаны для эффективной передачи информации по каналу.
Определение
Бинарный симметричный канал с вероятностью кроссовера , обозначаемый BSCп, - канал с двоичным входом и двоичным выходом и вероятностью ошибки . То есть, если передается случайная переменная и полученная переменная, то канал характеризуется условные вероятности:[1]
Предполагается, что . Если , то приемник может поменять местами выход (интерпретировать 1, когда он видит 0, и наоборот) и получить эквивалентный канал с вероятностью кроссовера .
Емкость
В пропускная способность канала двоичного симметричного канала, в биты, является:[2]
куда это бинарная функция энтропии, определяется:[2]
Доказательство[3] Емкость определяется как максимальная взаимная энтропия между входом и выходом для всех возможных входных распределений : Взаимная информация может быть переформулирована как
где первый и второй шаг следует из определения взаимной информации и условная энтропия соответственно. Энтропия на выходе для данного и фиксированного входного символа () равна бинарной функции энтропии, которая ведет к третьей строке, и это можно еще больше упростить.
В последней строке только первый член зависит от входного распределения . Энтропия двоичной переменной составляет не более 1 бита, равенство достигается тогда и только тогда, когда ее распределение вероятностей равномерно. Если равномерно распределен, то будут равномерно распределены и достигнут этой энтропии. Таким образом, емкость .
Теорема кодирования с шумом
Шеннона теорема кодирования с шумом дает результат о скорости передачи информации, которая может быть передана по каналу связи с произвольно низкой ошибкой. Исследуем частный случай .
Шум что характеризует это случайная переменная состоящий из n независимых случайных битов (n определяется ниже), где каждый случайный бит представляет собой с вероятностью и с вероятностью . Мы указываем это, написав "".
Теорема — Для всех все , все достаточно большие (в зависимости от и ), и все , существует пара функций кодирования и декодирования и соответственно, так что каждое сообщение обладает следующим свойством:
- .
На самом деле эта теорема означает, что сообщение, выбранное из , закодированный с помощью функции случайного кодирования , и послал шумный , очень высока вероятность восстановления исходного сообщения путем декодирования, если или, по сути, скорость канала ограничена величиной, указанной в теореме. Вероятность ошибки декодирования экспоненциально мала.
Доказательство
Теорема может быть доказана непосредственно с помощью вероятностный метод. Рассмотрим функцию кодирования который выбирается случайным образом. Это означает, что для каждого сообщения , Значение выбирается случайным образом (с равными вероятностями). Для данной функции кодирования , функция декодирования определяется следующим образом: с учетом любого полученного кодового слова , мы находим сообщение так что Расстояние Хэмминга как можно меньше (с произвольным разрывом галстуков). ( называется декодирование с максимальной вероятностью функция.)
Доказательство продолжается, показывая, что по крайней мере один такой выбор удовлетворяет заключению теоремы интегрированием по вероятностям. Предполагать и фиксируются. Сначала покажем, что для фиксированного и выбирается случайно, вероятность отказа превышает шум экспоненциально мал в п. На данный момент доказательство работает для фиксированного сообщения. . Затем мы расширяем этот результат, чтобы он работал для всех сообщений . Мы достигаем этого, удаляя половину кодовых слов из кода, аргументируя это тем, что доказательство вероятности ошибки декодирования выполняется по крайней мере для половины кодовых слов. Последний метод называется очищением. Это дает всему процессу имя случайное кодирование с удалением.
Продолжение доказательства (эскиз) Исправить и . Учитывая фиксированное сообщение , нам нужно оценить ожидаемое значение из вероятность полученного кодового слова вместе с шумом не отдает по расшифровке. То есть нам нужно оценить: Позволять быть полученным кодовым словом. Для декодированного кодового слова не быть равным сообщению , должно произойти одно из следующих событий:
- не лежит внутри шара Хэмминга радиуса сосредоточен на . Это условие в основном используется для облегчения расчетов.
- Есть еще одно сообщение такой, что . Другими словами, ошибки из-за шума приближают переданное кодовое слово к другому закодированному сообщению.
Мы можем применить Чернов граница обеспечить ненаступление первого события; мы получили:
Это экспоненциально мало для больших (Напомним, что фиксированный).
Для второго события отметим, что вероятность того, что является куда шар Хэмминга радиуса с центром в векторе и это его объем. Используя аппроксимацию для оценки количества кодовых слов в шаре Хэмминга, мы имеем . Следовательно, указанная вероятность составляет . Теперь используя связанный союз, мы можем оценить сверху существование такой к который , по желанию выбором .
Продолжение доказательства (подробно) Из приведенного выше анализа мы вычисляем вероятность того, что декодированное кодовое слово плюс канальный шум не совпадает с отправленным исходным сообщением. Мы введем здесь некоторые символы. Позволять обозначают вероятность получения кодового слова учитывая это кодовое слово было отправлено. Позволять обозначать Последнее неравенство мы получаем в результате нашего анализа с использованием Чернов граница над. Теперь, ожидая с обеих сторон, мы имеем,
правильно подобрав значение . Поскольку полученная оценка верна для каждый сообщение, у нас есть
Теперь мы можем изменить порядок суммирования в ожидании относительно сообщения и выбор функции кодирования. . Следовательно:
Следовательно, в заключение вероятностным методом мы имеем некоторую функцию кодирования и соответствующая функция декодирования такой, что
На данный момент доказательство работает для фиксированного сообщения. . Но нам нужно убедиться, что указанная оценка верна для все сообщения одновременно. Для этого отсортируем сообщения по вероятности ошибки декодирования. Теперь, применив Неравенство Маркова, мы можем показать вероятность ошибки декодирования для первого сообщения быть не больше . Таким образом, чтобы подтвердить, что вышеизложенное должно выполняться для каждый сообщение , мы могли бы просто обрезать последние сообщения из отсортированного порядка. По сути, это дает нам еще одну функцию кодирования с соответствующей функцией декодирования с вероятностью ошибки декодирования не более с такой же скоростью. Принимая быть равным мы ограничили вероятность ошибки декодирования величиной . Этот процесс удаления завершает доказательство.
Обращение к теореме Шеннона о емкости
Обратное к теореме о емкости по существу утверждает, что это лучшая скорость, которую можно достичь по двоичному симметричному каналу. Формально теорема гласит:
Теорема — Если то для каждого кодирование и расшифровка функция : и : соответственно: [ .
Однако интуиция, лежащая в основе доказательства, показывает, что количество ошибок быстро растет по мере того, как скорость превышает пропускную способность канала. Идея состоит в том, что отправитель генерирует сообщения размера , а канал вносит ошибки передачи. Когда емкость канала , количество ошибок обычно для кода длины блока . Максимальное количество сообщений . Выход канала, с другой стороны, имеет возможные значения. Если есть какая-то путаница между любыми двумя сообщениями, вполне вероятно, что . Следовательно, мы имели бы , случай, которого мы хотели бы избежать, чтобы вероятность ошибки декодирования была экспоненциально малой.
Коды
Совсем недавно была проделана большая работа, а также ведется работа по разработке явных кодов исправления ошибок для достижения пропускной способности нескольких стандартных каналов связи. Мотивация разработки таких кодов состоит в том, чтобы связать скорость кода с долей ошибок, которые он может исправить.
Подход к разработке кодов, которые соответствуют пропускной способности канала или канал двоичного стирания заключались в исправлении меньшего количества ошибок с высокой вероятностью и в достижении максимально возможной скорости. Теорема Шеннона дает нам наилучшую скорость, которая может быть достигнута за , но это не дает нам представления о каких-либо явных кодах, которые достигают такой скорости. Фактически, такие коды обычно создаются для исправления лишь небольшой части ошибок с высокой вероятностью, но достигают очень хорошей скорости. Первый такой код был создан Джорджем Д. Форни в 1966 году. Код представляет собой конкатенированный код, состоящий из двух различных типов кодов.
Код Форни
Форни построил составной код для достижения способности теоремы кодирования зашумленного канала для . В его коде
- Внешний код это код длины блока и оценить над полем , и . Дополнительно у нас есть расшифровка алгоритм за который может исправить до доля ошибок наихудшего случая и время.
- Внутренний код это код длины блока , измерение , а скорость . Дополнительно у нас есть алгоритм декодирования за с расшифровка вероятность ошибки не более над и бежит в время.
Для внешнего кода , код Рида-Соломона был бы первым кодом, который пришел в голову. Однако мы увидим, что построение такого кода не может быть выполнено за полиномиальное время. Вот почему двоичный линейный код используется для .
Для внутреннего кода мы находим линейный код путем исчерпывающего поиска из линейный код длины блока и размер , скорость которого соответствует мощности , по теореме кодирования с шумом.
Оценка что почти соответствует емкость. Далее отметим, что кодирование и декодирование может быть выполнено за полиномиальное время относительно . Собственно, кодировка требуется время . Кроме того, описанный алгоритм декодирования требует времени так долго как ; и .
Вероятность ошибки декодирования
Естественный алгоритм декодирования для заключается в:
- Предполагать
- Выполнять на
Обратите внимание, что каждый блок кода для считается символом . Теперь, поскольку вероятность ошибки при любом индексе за самое большее и ошибки в независимы, ожидаемое количество ошибок для самое большее линейностью ожидания. Теперь применяем Чернов граница, мы имеем граничную вероятность ошибки более ошибки, возникающие . Поскольку внешний код может исправить самое большее ошибки, это расшифровка вероятность ошибки . Когда это выражается в асимптотических терминах, вероятность ошибки составляет . Таким образом, достигнутая вероятность ошибки декодирования экспоненциально мала, как теорема кодирования зашумленного канала.
Мы дали общую технику построения . Для более подробного описания и пожалуйста, прочтите следующие ссылки. Недавно было создано несколько других кодов для достижения пропускной способности. LDPC коды были рассмотрены для этой цели из-за их более быстрого декодирования.[4]
Приложения
Бинарный симметричный канал может моделировать дисковод используется для хранения в памяти: вход канала представляет бит, записываемый на диск, а выход соответствует биту, считываемому позже. Ошибка может возникнуть из-за перемагничивания, фонового шума или ошибки записывающей головки. Другие объекты, которые может моделировать двоичный симметричный канал, включают телефонную или радиосвязную линию или деление клеток, из которых дочерние клетки содержат ДНК информация из их родительской ячейки.[5]
Этот канал часто используют теоретики, потому что это один из самых простых шумный каналы для анализа. Много проблем в теория коммуникации возможно уменьшенный в BSC. И наоборот, возможность эффективно передавать через BSC может привести к решениям для более сложных каналов.
Смотрите также
Примечания
- ^ Маккей (2003), п. 4.
- ^ а б Маккей (2003), п. 15.
- ^ Обложка и Томас (1991), п. 187.
- ^ Ричардсон и Урбанк
- ^ Маккей (2003), п. 3–4.
Рекомендации
- Томас М. Кавер; Джой А. Томас (1991). Элементы теории информации. Хобокен, Нью-Джерси: Wiley. ISBN 978-0-471-24195-9.
- Г. Дэвид Форни. Составные коды. MIT Press, Кембридж, Массачусетс, 1966.
- Курс Венката Гурусвами по Коды исправления ошибок: конструкции и алгоритмы, Осень 2006 г.
- Маккей, Дэвид Дж. (2003). Теория информации, логический вывод и алгоритмы обучения. Издательство Кембриджского университета. ISBN 0-521-64298-1.
- Курс Атри Рудры по кодам с исправлением ошибок: комбинаторика, алгоритмы и приложения (осень 2007 г.), лекции 9, 10, 29, и 30.
- Курс Мадху Судана по введению алгоритмов в теорию кодирования (осень 2001 г.), лекция 1 и 2.
- Математическая теория коммуникации К. Э. Шеннон, ACM SIGMOBILE Mobile Computing and Communications Review.
- Современная теория кодирования Том Ричардсон и Рудигер Урбанк., Cambridge University Press