Расширенный ASCII - Extended ASCII

Вывод программы ascii в Cygwin

Расширенный ASCII (EASCII или высокий ASCII) кодировки символов находятся восьмибитный или более крупные кодировки, включающие стандартные семи-немного ASCII символы, плюс дополнительные символы. Само по себе использование термина "расширенный ASCII" иногда подвергается критике,[1][2][3] потому что это может быть ошибочно истолковано как означающее, что стандарт ASCII был обновлен, чтобы включить более 128 символов или что термин однозначно идентифицирует одну кодировку, ни то, ни другое не соответствует действительности.

Существует множество расширенных кодировок ASCII (более 220 кодовых страниц DOS и Windows). EBCDIC («другой» основной 8-битный символьный код) за десятилетия также разработал множество расширенных вариантов (более 186 кодовых страниц EBCDIC).

История

ASCII был разработан в 1960-х годах для телепринтеры и телеграфия, и некоторые вычисления. Ранние телепринтеры были электромеханическими, не имели микропроцессора и имели достаточно электромеханической памяти для работы. Они полностью обрабатывали один символ за раз, сразу после этого возвращаясь в состояние ожидания; это означало, что любые управляющие последовательности должны состоять только из одного символа, и поэтому для таких элементов управления необходимо зарезервировать большое количество кодов. Они были получены от пишущей машинки ударные принтеры, и мог печатать только фиксированный набор глифов, которые были отлиты в элемент или элементы металлического типа; это также поощряло минимальный набор глифов.

Семибитный ASCII улучшен по сравнению с предыдущими пяти- и шестибитными кодами. Из 27= 128 кодов, 33 были использованы для контроля и 95 тщательно отобраны печатные символы (94 глифы и один пробел), которые включают английский алфавит (верхний и нижний регистры), цифры и 31 знак препинания и символ: все символы на стандартной пишущей машинке США плюс несколько, выбранных для задач программирования. В некоторых популярных периферийных устройствах реализовано только подмножество из 64 печатных символов: Телетайп Модель 33 не мог передавать от "a" до "z" или пять менее распространенных символов ("` "," {"," | ","} "и" ~ "). и когда они получали такие символы, они вместо этого печатали от "A" до "Z" (принудительно все заглавные буквы ) и пять других почти похожих символов («@», «[», «», «]» и «^»).

Набор символов ASCII едва ли достаточен для использования в английском языке (США) и не имеет многих глифов, общих для наборный, и слишком мал для универсального использования. Желательно, полезно или требуется гораздо больше букв и символов для прямого представления букв алфавитов, отличных от английского, больше видов пунктуации и пробелов, больше математических операторов и символов (× ÷ ⋅ ≠ ≥ ≈ π и т. Д.), Используются некоторые уникальные символы некоторыми языками программирования, идеограммы, логограммы, символы рисования прямоугольников и т. д. В течение многих лет приложения создавались на основе 64-символьного и / или 95-символьного набора, поэтому некоторые символы получили новое применение. Например, в ASCII отсутствует «÷», поэтому в большинстве языков программирования «/» используется для обозначения деления.

Самой большой проблемой для пользователей компьютеров во всем мире были другие алфавиты. Английский алфавит ASCII почти соответствует европейским языкам, если буквы с диакритическими знаками заменены буквами без диакритических знаков или приближенными к ним двумя символами. Модифицированные варианты 7-битного ASCII появились незамедлительно, заменив некоторые редко используемые символы на очень желанные символы или буквы, такие как замена "#" на "£" в британских телетайпах, "" на "¥" в Японии или "₩" в Корее и т.д. Приведено как минимум 29 вариантов набора. 12 кодовых точек были изменены по крайней мере одним модифицированным набором, осталось только 82 «инвариантных» кода. Однако языки программирования придали значение многим замененным символам, были разработаны обходные пути, такие как C трехсимвольные последовательности "?? (" и "??)" для обозначения "{" и "}".[4] В языках с разными базовыми алфавитами можно использовать транслитерацию, например заменять все латинские буквы на ближайшее соответствие кириллических букв (в результате получается странный, но несколько читаемый текст, когда английский был напечатан кириллицей или наоборот). Были также разработаны схемы, позволяющие напечатать две буквы (часто с Backspace управление между ними) для получения букв с ударением. Пользователям не нравились любые из этих компромиссов, и они часто плохо поддерживались.[нужна цитата ]

Когда компьютеры и периферийные устройства стандартизированы на восьмибитном байты В 1970-х годах стало очевидно, что компьютеры и программное обеспечение могут обрабатывать текст, который использует наборы из 256 символов, практически без дополнительных затрат на программирование и без дополнительных затрат на хранение. (Предполагая, что неиспользованный 8-й бит каждого байта каким-либо образом не использовался повторно, например, при проверке ошибок, логических полях или упаковке 8 символов в 7 байтов.) Это позволит использовать ASCII без изменений и предоставить еще 128 символов. Многие производители разработали 8-битные наборы символов, состоящие из ASCII плюс до 128 неиспользуемых кодов. Поскольку в то время Восточная Европа была политически разделена, часто можно было сделать 8-битные кодировки, которые охватывали все более используемые европейские (и латиноамериканские) языки, такие как датский, голландский, французский, немецкий, португальский, испанский, шведский и другие. называется «латинским» или «римским».

128 дополнительных символов по-прежнему недостаточно, чтобы охватить все цели, все языки или даже все европейские языки, поэтому появление много проприетарные и национальные 8-битные наборы символов ASCII были неизбежны. Перевод между этими наборами (перекодирование ) является сложным (особенно, если персонаж не входит в оба набора); и часто не было сделано, производя моджибаке (получитаемый результирующий текст, часто пользователи научились его декодировать вручную). В конце 1990-х годов были предприняты попытки сотрудничества или координации между национальными и международными органами по стандартизации, но производимые проприетарные наборы оставались наиболее популярными, прежде всего потому, что стандарты исключали многих популярных персонажей.

Собственные расширения

Различные проприетарные модификации и расширения ASCII появились на не-EBCDIC мэйнфреймы и миникомпьютеры, особенно в университетах.

Hewlett Packard начали добавлять европейские символы в свой расширенный 7-битный / 8-битный набор символов ASCII Расширение HP Roman примерно 1978/1979 для использования со своими рабочими станциями, терминалами и принтерами. Позже это превратилось в широко используемые обычные 8-битные наборы символов. HP Роман-8 и HP Роман-9 (а также ряд вариантов).

Atari и Коммодор домашние компьютеры добавили много графических символов в их нестандартные ASCII (соответственно, ATASCII и PETSCII, основанный на исходном стандарте ASCII 1963 г.).

В Набор символов TRS-80 для TRS-80 домашний компьютер добавлен 64 полуграфика символы (от 0x80 до 0xBF), которые реализовали блочную графику с низким разрешением. (Каждый блочный графический символ отображается как сетка 2x3 пикселей, причем каждый пиксель блока эффективно контролируется одним из младших 6 битов.)[5]

IBM представил восьмибитные расширенные коды ASCII на оригинальном IBM PC а позже создал вариации для разных языков и культур. IBM назвала такие наборы символов кодовые страницы и присвоили номера как тем, которые они сами изобрели, так и многим из них, изобретенным и используемым другими производителями. Соответственно, наборы символов очень часто обозначаются номером кодовой страницы IBM. В кодовых страницах, совместимых с ASCII, нижние 128 символов сохраняли свои стандартные значения US-ASCII, а различные страницы (или наборы символов) могли быть доступны в верхних 128 символах. ДОС компьютеры, созданные для рынка Северной Америки, например, использовали кодовая страница 437, который включал символы с диакритическими знаками, необходимые для французского, немецкого и некоторых других европейских языков, а также некоторые графические символы для рисования линий. Большой набор символов позволил создавать документы на комбинации языков, таких как английский и Французский (хотя французские компьютеры обычно используют кодовая страница 850 ), но не, например, на английском и Греческий (что требовало кодовая страница 737 ).

Компьютер Apple представили свои собственные восьмибитные расширенные коды ASCII в Mac OS, такие как Mac OS Роман. В Apple LaserWriter также представил Набор символов PostScript.

Корпорация цифрового оборудования (DEC) разработала Многонациональный набор символов, в котором было меньше символов, но больше буквенных и диакритических комбинаций. Его поддержали VT220 а позже DEC компьютерные терминалы. Позже это стало основой для других наборов символов, таких как Набор символов Lotus International (LICS), ECMA-94 и ISO 8859-1.

ISO 8859 и его собственные адаптации

В конце концов, ISO выпустил этот стандарт как ISO 8859 описывающий собственный набор восьмибитных расширений ASCII. Самый популярный - это ISO 8859-1, также называемый ISO Latin 1, который содержал символы, достаточные для большинства распространенных западноевропейских языков, а также были стандартизованы варианты для других языков: ISO 8859-2 для восточноевропейских языков и ISO 8859-5 для кириллических языков, например.

Одним из примечательных отличий наборов символов ISO от кодовых страниц является то, что позиции символов от 128 до 159, соответствующие ASCII управляющие символы с набором битов высокого порядка, специально не используются и не определены в стандартах ISO, хотя они часто использовались для печатаемых символов в проприетарных кодовых страницах, что является нарушением почти универсальных стандартов ISO.

Позднее Microsoft создала кодовая страница 1252, совместимый надмножество ISO 8859-1 с дополнительными символами в неиспользуемом диапазоне ISO. Кодовая страница 1252 является стандартной кодировкой символов западноевропейских языковых версий Майкрософт Виндоус, включая английские версии. ISO 8859-1 - это общепринятая 8-битная кодировка символов, используемая X Window System, и большинство Интернет стандарты использовали это раньше Unicode.

Путаница в наборе символов

Значение каждой расширенной кодовой точки может быть разным в каждой кодировке. Чтобы правильно интерпретировать и отображать текстовые данные (последовательности символов), которые включают расширенные коды, аппаратное и программное обеспечение, которое считывает или принимает текст, должно использовать специфический применимая к нему расширенная кодировка ASCII. Применение неправильной кодировки вызывает нерациональную замену многих или всех расширенных символов в тексте.

Программное обеспечение может использовать фиксированный выбор кодировки или может выбирать кодировку из палитры по умолчанию, проверяя настройки страны и языка компьютера, читая объявление в тексте, анализ текста, спрашивая пользователя, позволяя пользователю выбрать или переопределить и / или по умолчанию вернуться к последнему выбору. Когда текст передается между компьютерами, которые используют разные операционные системы, программное обеспечение и кодировки, применение неправильной кодировки может быть обычным явлением.

Поскольку полный английский алфавит и наиболее часто используемые символы английского языка включены в семибитные кодовые точки ASCII, которые являются общими для всех кодировок (даже большинства проприетарных кодировок), англоязычный текст менее поврежден при его интерпретации с помощью неправильная кодировка, но текст на других языках может отображаться как моджибаке (полная чушь). Поскольку многие стандарты Интернета используют ISO 8859-1, а также поскольку Microsoft Windows (с использованием кодовой страницы 1252 надмножества ISO 8859-1) является доминирующей операционной системой для персональных компьютеров сегодня, необъявленное использование ISO 8859-1 является довольно обычным явлением и может обычно следует предполагать, если нет других указаний.

Много протоколы связи, самое главное SMTP и HTTP, требуется, чтобы кодировка символов содержимого была помечена IANA -заданные идентификаторы набора символов.

Кодировки многобайтовых символов

Некоторые многобайтовые кодировки символов (кодировки символов, которые могут обрабатывать более 256 различных символов) также являются истинным расширенным ASCII. Это означает, что все символы ASCII кодируются одним байтом с тем же значением, что и ASCII, и эти значения больше нигде не используются. Их можно использовать в форматах файлов, в которых для ключевых слов и синтаксиса формата файла используются только байты ASCII, а байты 0x80-0xFF могут использоваться для произвольного текста, включая большинство языков программирования, где ключевые слова языка, имена переменных и имена функций должны быть в ASCII, но строковые константы и комментарии могут использовать символы, отличные от ASCII. Это значительно упрощает введение многобайтового набора символов в существующие системы, использующие расширенный ASCII.

UTF-8 истинно расширенный ASCII, как и некоторые Расширенный код Unix кодировки.

ISO / IEC 6937 не расширен ASCII, потому что его кодовая точка 0x24 соответствует общему знак валюты (¤) а не к знаку доллара ($), но в противном случае, если вы считаете, что пары «акцент + буква» являются расширенным символом, за которым следует ASCII.

Shift JIS не верно расширенный ASCII. Помимо замены обратная косая черта с иена символа, многобайтовые символы могут также включать байты ASCII. Он избегает использования разделителей и элементов управления ASCII, поэтому во многих случаях, таких как HTML, он может работать. UTF-16 является еще менее расширенным ASCII, потому что символы ASCII хранятся как два байта, один из которых равен 0x00. Перенос существующей системы для поддержки наборов символов как Shift JIS или UTF-16 сложен и подвержен ошибкам.

Использование на машиночитаемых языках

Для языков программирования и языков документов, таких как C и HTML, принцип расширенного ASCII важен, так как он позволяет поддерживать множество различных кодировок и, следовательно, многие человеческие языки с небольшими дополнительными усилиями программирования в программном обеспечении, которое интерпретирует файлы машиночитаемых языков.

Принцип расширенного ASCII означает, что:

  • все байты ASCII (от 0x00 до 0x7F) имеют одинаковое значение в все варианты расширенного ASCII,
  • байты, которые не являются байтами ASCII, используются только для свободного текста, а не для тегов, ключевых слов или других функций, которые имеют особое значение для интерпретирующего программного обеспечения.

Смотрите также

Рекомендации

  1. ^ Бенджамин Рифеншталь (26 февраля 2001 г.). "Re: информация Cygwin Termcap, включающая расширенные символы ascii". Cygwin (Список рассылки). В архиве из оригинала 11 июля 2013 г.. Получено 2 декабря 2012.
  2. ^ С. Волицки (23 марта 2012 г.). «Тема: печать расширенных кодов ASCII в sql * plus». В архиве из оригинала 15 марта 2013 г.. Получено 2 декабря, 2012.
  3. ^ Марк Дж. Рид (28 марта 2004 г.). "vim: как набрать расширенный ascii?". Группа новостей: комп. редакторы. В архиве с оригинала 2 августа 2013 г.. Получено 2 декабря, 2012.
  4. ^ «2.2.1.1 Последовательности триграфа». Обоснование американского национального стандарта информационных систем - Язык программирования - C. В архиве из оригинала на 2018-09-29. Получено 2019-02-08.
  5. ^ Гольдкланг, Ира (2015). «Графические советы и хитрости». В архиве из оригинала от 29.07.2017. Получено 2017-07-29.

внешняя ссылка