GSM 03.38 - GSM 03.38

В мобильная телефония GSM 03.38 или же 3GPP 23.038 это кодировка символов используется в GSM сети для SMS (Служба коротких сообщений), CB (Сотовая трансляция ) и USSD (Неструктурированные дополнительные служебные данные). Стандарт 3GPP TS 23.038 (первоначально рекомендация GSM 03.38) определяет 7-битный алфавит GSM по умолчанию что является обязательным для телефонов GSM и сетевых элементов,^[1] но набор символов подходит только для английский и ряд западноевропейских языков. Такие языки, как китайский, корейский или японский, необходимо передавать с помощью 16-битной UCS-2 кодировка символов. Ограниченное количество языков, например португальский, испанский, турецкий и ряд языков, используемых в Индия написано с Брахмические сценарии может использовать 7-битную кодировку с таблица смены национального языка определено в 3GPP 23.038. За двоичные сообщения, Используется 8-битная кодировка.

7-битный алфавит GSM по умолчанию и таблица расширений 3GPP TS 23.038 / GSM 03.38

Стандартным кодированием для сообщений GSM является 7-битный алфавит по умолчанию, как определено в рекомендации 23.038.

Семибитные символы должны быть закодированы в октеты в одном из трех режимов упаковки:

• CBS: используя эту кодировку, можно отправить до 93 символов (с упаковкой до 82 октетов) в одном SMS-сообщении в службе сотового вещания.
• SMS: используя эту кодировку, можно отправить до 160 символов (упакованных до 140 октетов) в одном SMS-сообщении в сети GSM.
• USSD: используя эту кодировку, можно отправить до 182 символов (упакованных до 160 октетов) в одном SMS-сообщении с неструктурированными дополнительными служебными данными.

Это важно (особенно когда сообщение нужно сегментировать с помощью составное SMS механизм), что символы из таблицы базового набора символов занимают один септет, символы из таблицы расширения базового набора символов занимают два септета.

Обратите внимание, что вторая часть таблицы доступна только в том случае, если устройство GSM поддерживает 7-битный механизм расширения, используя префикс символа ESC. В противном случае сам код ESC интерпретируется как пробел, а следующий символ будет обрабатываться так, как если бы не было ведущего кода ESC.

Большая часть верхней части таблицы не используется в наборе символов по умолчанию, но стандарт GSM определяет некоторые индикаторы кода языка, которые позволяют системе определять национальные варианты этой части для поддержки большего количества символов, чем показано в приведенной выше таблице.

В стандартном текстовом сообщении GSM все символы кодируются с использованием 7-битных кодовых единиц, упакованных вместе для заполнения всех битов октетов. Так, например, 140-октетный конверт SMS,^[3] без индикатора другого языка, но только со стандартным префиксом класса, может транспортировать до (140 * 8) / 7 = 160, то есть 160 7-битных символов GSM (но обратите внимание, что код ESC считается для одного из них, если символы в используется высокая часть стола).

Могут быть отправлены более длинные сообщения, но для последующих SMS-сообщений потребуется префикс продолжения и порядковый номер (эти байты префикса и порядковый номер считаются в пределах максимальной длины 140-октетной полезной нагрузки формата конверта).

Когда в последнем октете сообщения имеется от 1 до 6 запасных битов, эти биты устанавливаются в ноль (эти биты не считаются символом, а только заполнителем). Когда в последнем октете сообщения есть 7 запасных битов, эти биты устанавливаются на 7-битный код элемента управления CR (также используемый как заполнитель заполнения) вместо того, чтобы быть установленным на ноль (где их можно было бы спутать с 7-битный код символа '@').

Эта 7-битная кодировка позволяет транспортировать тексты, закодированные в подмножестве ASCII Basic Latin, а также некоторые символы из набора символов ISO Latin 1. Он также позволяет кодировать тексты, написанные греческим шрифтом, но только заглавными буквами; для такого использования в греческом языке заглавные латинские буквы, похожие на греческие, используются повторно с тем же кодом, так что приведенный выше набор символов является полным только для современного монотонного греческого языка, ограниченного заглавными буквами. Для полной поддержки греческого алфавита (включая строчные буквы) требуется национальная версия смещенной 7-битной таблицы (с использованием кода ESC для каждого национального символа, закодированного в этой смещенной таблице), или неуказанная проприетарная 8-битная кодировка, или использование кодировки UCS-2 (см. ниже).

Обратите внимание, что специальный код, отмеченный SS2 в приведенной выше таблице также был назначен (и закодирован как 0x1B, 0x1B), чтобы разрешить использование другой альтернативной 7-битной таблицы сдвига. Но этот механизм никогда не использовался, и предпочтение было отдано кодировке UCS-2.

8-битное кодирование данных GSM

В 8-битном режиме кодирования данных информация обрабатывается как необработанные данные. Согласно стандарту алфавит для этой кодировки зависит от пользователя.

Кодировка UCS-2

Эта кодировка позволяет использовать больший диапазон символов и языков. UCS-2 может представлять наиболее часто используемые латинские и восточные символы за счет больших затрат места. Строго говоря, UCS-2 ограничен символами в Базовая многоязычная плоскость. Однако, поскольку современные среды программирования не предоставляют кодировщики или декодеры для UCS-2, некоторые сотовые телефоны (например, айфоны ) использовать UTF-16 вместо UCS-2.^[4] Это работает, потому что для символов в базовой многоязычной плоскости (включая полные алфавиты большинства современных человеческих языков) кодировки UCS-2 и UTF-16 идентичны. Для кодирования символов вне BMP (недоступных в обычном UCS-2), например Эмодзи, UTF-16 использует суррогатные пары, которые при декодировании с помощью UCS-2 будут отображаться как два действительных, но не сопоставленных кодовые точки.

Одно SMS-сообщение GSM с использованием этой кодировки может содержать не более 70 символов (140 октетов).

Обратите внимание, что на многих сотовых телефонах GSM нет специального предварительного выбора кодировки UCS-2. По умолчанию используется 7-битная кодировка, описанная выше, до тех пор, пока не будет введен символ, которого нет в 7-битной таблице GSM (например, строчная буква «а» с акцентом: «á»). В этом случае все сообщение перекодируется с использованием кодировки UCS-2, а максимальная длина сообщения, отправляемого в одном SMS-сообщении, сразу же сокращается до 70 символов вместо 160. Другие значения зависят от выбора и конфигурации приложения SMS. , а длина сообщения^{[нужна цитата ]}.

Чтобы избежать непредвиденных расходов для отправителей, которые имеют подписку на ограниченный пакет отправляемых SMS, приложения должны^{[согласно кому? ]} отображать количество используемых символов и максимальное количество символов в составленном SMS. Когда сообщение превышает этот максимум, сообщение будет^{[требуется разъяснение ]} быть отправленными в виде нескольких последовательных SMS-сообщений, содержащих части сообщения (каждое из которых содержит порядковый номер, который также использует несколько ведущих символов в каждой части); эти части предназначены для^{[нужна цитата ]} собираются позже получателем.

Некоторые приложения предупреждают пользователя, когда сообщение требует разделения, или даже отправляют более длинное сообщение в виде мультимедийное сообщение (MMS).

Таблицы смены национальных языков

Начиная с выпуска 8 3GPP 23.038 марта 2008 г., дополнительные наборы символов можно получить с помощью таблиц сдвига национальных языков.

Эти таблицы позволяют использовать различные наборы символов в зависимости от языка, на котором будет написан текст. Выбор таблицы для данного сообщения выбирается в Заголовок пользовательских данных раздел SMS-сообщения и может быть указан для всего текста ( Блокировка таблица сдвига, заменяющая стандартную 7-битную таблицу алфавита по умолчанию GSM) или одиночный символ (Одинокий таблица сдвига, заменяющая 7-битную таблицу расширения алфавита по умолчанию GSM). Блокировка и Одинокий Таблицы сдвига вместе в одном сообщении возможны, если необходимо заменить стандартную таблицу алфавита по умолчанию и таблицу расширения алфавита по умолчанию.

Используя таблицу сдвига, сообщение может по-прежнему использовать 7-битную кодировку символов, но можно выбрать другой набор для правильного отображения акцентированных и языковых символов. Это позволяет использовать до 155 символов, закодированных в 136 октетов (140 октетов, минус 4 октета Заголовок пользовательских данных требуется для указания использования таблицы смен и кода языка). С обоими Блокировка и Одинокий таблицы сдвига, допускается до 152 символов, закодированных в 133 октета (140 октетов, минус 7 октетов Заголовок пользовательских данных ).

Символы из любой таблицы с блокировкой сдвига занимают один септет, символы из таблицы одинарного сдвига (или таблицы расширения базового набора символов) занимают два септета.

Изначально были указаны таблицы смен только для турецкого языка; Испанский и португальский были добавлены в более поздних версиях версии 8. В версии 9 представлены 10 языков, используемых в Индии, написанных с Брахмические сценарии (Бенгальский, гуджарати, хинди, каннада, малаялам, ория, пенджаби, тамильский, телугу) и Урду.

До сих пор не существует определенной таблицы сдвига национального языка для французского, греческого, русского, болгарского, арабского, иврита и большинства центральноевропейских языков, которые нуждаются в лучшем охвате, чем 7-битный стандартный набор символов по умолчанию и 7-битный набор символов расширения по умолчанию: если когда-либо составлен какой-либо символ, который не может быть представлен в этих 7-битных наборах GSM по умолчанию, сообщение будет автоматически перекодировано с использованием UCS-2 с эффектом деления более чем на два максимальной длины в символах сообщений, которые могут быть отправлены по цене одного SMS (когда сообщение разбито на несколько частей, требуется несколько других октетов в Заголовок пользовательских данных чтобы указать порядковый номер каждой части).

Хотя в редакции GSM 03.38 (уже в версии 4.0.1 от сентября 1994 г.) были определены значения схемы кодирования данных для Сотовая трансляция Система (CBS) для немецкого, английского, итальянского, французского, испанского, голландского, шведского, датского, финского, норвежского, греческого и турецкого языков; с добавлением в более поздних редакциях венгерского, польского, чешского, иврита, арабского, русского и исландского языков, таблицы кодирования для этих языков не определены. Это поле предназначалось исключительно для определения языка сообщения.

Также нет таблицы языкового сдвига для японского, написанного базовыми канами, для корейского, написанного хангыльским чамос, или для китайского, написанного ханьским письмом. В Японии это часто не проблема, поскольку для обмена сообщениями используются стандарты, отличные от GSM и WAP. Два других языка также содержат слишком много разных символов, чтобы поместиться в 7-битную таблицу сдвига.

Испанский язык (латиница)

Для испанского языка нет специального набора символов с блокировкой сдвига. Использует базовый набор символов по умолчанию.

Португальский язык (латиница)

Турецкий язык (латиница)

Язык урду (арабский и базовые латинские шрифты)

Его также можно использовать для Язык синдхи также написано арабским шрифтом.

Иногда его можно использовать для арабский язык также, но восточные цифры (закодированные здесь в их персидско-индуистском варианте) не будут использоваться в этом случае, потому что стандартный арабский язык предпочитает свои традиционные восточно-арабские цифры и часто будет заменен западными арабскими цифрами (закодированными в блокирующем сдвиге набор символов в столбце 0x30), которые теперь также часто используются в урду. Однако в Индии телефоны, распознающие обозначение арабского языка, могут заменять персидско-индуистские варианты восточных арабских цифр на традиционные восточно-арабские цифры.

Язык хинди (девенагари и основные латинские шрифты)

Бенгальский и ассамский языки (бенгали и основные латинские шрифты)

Язык пенджаби (гурмухи и базовые латинские шрифты)

Язык гуджарати (гуджарати и базовые латинские шрифты)

Язык ория (ория и основные латинские шрифты)

Тамильский язык (тамильский и базовый латинский алфавит)

Телугу (телугу и основные латинские шрифты)

Язык каннада (каннада и основные латинские шрифты)

Язык малаялам (малаялам и основные латинские шрифты)