Лингвистические категории - Linguistic categories

Лингвистические категории включают

Определение лингвистических категорий является серьезной проблемой лингвистическая теория, и, таким образом, определение и именование категорий различаются в зависимости от теоретических основ и грамматических традиций для разных языков. В введение в действие лингвистических категорий в лексикография, компьютерная лингвистика, обработка естественного языка, корпусная лингвистика, и управление терминологией обычно требует определения лингвистических категорий для конкретных ресурсов, проблем или приложений.

Инвентаризация лингвистических категорий

Чтобы облегчить совместимость между лексические ресурсы, лингвистические аннотации и инструменты аннотации, а также для систематической обработки лингвистических категорий в различных теоретических рамках, был разработан и используется ряд перечней лингвистических категорий с примерами, приведенными ниже. Практическая цель такой инвентаризации - выполнить количественная оценка (для языковых инвентаризаций), для обучения инструментам НЛП или для облегчения кросс-лингвистической оценки, запроса или аннотации языковых данных. На теоретическом уровне существование универсальных категорий в человеческом языке постулировалось, например, в Универсальная грамматика, но также сильно критиковали.

Наборы тегов части речи

Основная статья: Теги части речи § Наборы тегов

В школах обычно учат, что есть 9 части речи по-английски: имя существительное, глагол, статья, прилагательное, предлог, местоимение, наречие, соединение, и междометие. Однако явно существует гораздо больше категорий и подкатегорий. Для существительных можно различать формы множественного, притяжательного и единственного числа. Во многих языках слова также отмечены знаком "дело "(роль субъекта, объекта и т. д.), грамматический род, и так далее; в то время как глаголы отмечены для напряженный, аспект, и другие вещи. В некоторых системах тегов разные интонации одного и того же корневого слова получат разные части речи, что приведет к большому количеству тегов. Например, NN для существительных в единственном числе, NNS для существительных во множественном числе, NP для имен собственных в единственном числе (см. POS-теги используется в Коричневом корпусе). Другие системы тегов используют меньшее количество тегов и игнорируют мелкие различия или моделируют их как Особенности несколько не зависит от части речи.[1]

При компьютерной разметке частей речи для английского языка обычно выделяют от 50 до 150 отдельных частей речи. Работа с тегами POS выполняется на разных языках, и набор используемых тегов POS сильно зависит от языка. Теги обычно предназначены для включения явных морфологических различий, хотя это приводит к несоответствиям, таким как разметка падежа для местоимений, но не существительных в английском языке, и гораздо более серьезных межъязыковых различий. Набор тегов для языков с сильным изменением, таких как Греческий и латинский может быть очень большим; маркировка слова в агглютинативные языки Такие как Инуитские языки может быть практически невозможно. Работа над стохастический методы маркировки Койне греческий (DeRose 1990) использовал более 1000 частей речи и обнаружил, что примерно столько же слов двусмысленный на этом языке, как на английском. Морфосинтаксический дескриптор в случае морфологически богатых языков обычно выражается с помощью очень коротких мнемоник, таких как Ncmsan для Категория = Существительное, Тип = общий, Пол = мужской род, Число = единственное число, Регистр = винительный падеж, Анимация = нет.

Самым популярным «набором тегов» для POS-тегов для американского английского, вероятно, является набор тегов Penn, разработанный в проекте Penn Treebank.

Многоязычные схемы аннотаций

Основные статьи: Руководство Eagles и Универсальные зависимости

Для западноевропейских языков были разработаны кросс-лингвистические схемы аннотаций для частей речи, морфосинтаксиса и синтаксиса. Руководство Eagles. Рекомендации Eagles вдохновили на последующую работу и в других регионах, например, в Восточной Европе.[2]

Петров и др.[3][4] предложили «универсальный», но в высшей степени редукционистский набор тегов с 12 категориями (например, без подтипов существительных, глаголов, знаков препинания и т. д .; без различия «to» в качестве маркера инфинитива по сравнению с предлогом (вряд ли « всеобщее «совпадение») и др.). Впоследствии это было дополнено кросс-языковыми спецификациями для синтаксиса зависимостей (Stanford Dependencies),[5] и морфосинтаксис (Interset interlingua,[6] частично опираясь на традицию Multext-East / Eagles) в контексте Универсальные зависимости (UD), международный совместный проект по созданию берега деревьев языков мира с кросс-лингвистически применимыми («универсальными») аннотациями для частей речи, синтаксисом зависимости и (необязательно) морфосинтаксическими (морфологическими) особенностями. Основные приложения автоматизированы обработка текста в области обработка естественного языка (НЛП) и исследования синтаксиса и грамматики естественного языка, особенно в лингвистическая типология. Схема аннотации уходит корнями в три связанных проекта: Схема аннотации UD использует представление в виде деревья зависимостей в отличие от деревья структуры фраз. По состоянию на февраль 2019 года в инвентаре UD доступно чуть более 100 банков деревьев на более чем 70 языках.[7] Основная цель проекта - добиться кросс-лингвистической согласованности аннотаций. Однако для морфологических функций разрешены языковые расширения (отдельные языки или ресурсы могут вводить дополнительные функции). В более ограниченной форме отношения зависимости могут быть расширены с помощью вторичной метки, которая сопровождает метку UD, например, aux: pass для вспомогательного (UD вспомогательный) используется для обозначения пассивного залога.[8]

Универсальные зависимости вдохновили аналогичные усилия на области флективной морфологии,[9] семантика кадра[10] и Coreference.[11] За синтаксис структуры фразы, сопоставимых усилий, похоже, не существует, но спецификации Penn Treebank были применены (и расширены) для широкого круга языков,[12] например, исландский,[13] Древнеанглийский,[14] Средний английский,[15] Средне-нижненемецкий,[16] Ранний современный верхненемецкий,[17] Идиш,[18] Португальский,[19] Японский,[20] арабский[21] и китайский.[22]

Условные обозначения для подстрочного блеска

Основные статьи: Подстрочный блеск и Список сокращенных сокращений

В лингвистика, подстрочный блеск - это блеск (серия кратких объяснений, таких как определения или произношения), помещенные между строками (меж- + линейный), например, между строкой исходного текста и перевод в другой язык. При сглаживании каждая строка исходного текста приобретает одну или несколько строк транскрипции, известных как подстрочный текст или подстрочный сглаженный текст (IGT) - для краткости межлинейный. Такие глоссы помогают читателю проследить отношения между исходный текст и его перевод, и структура исходного языка. Стандартного инвентаря глянцевых материалов нет, но общие этикетки собраны в Лейпцигских правилах глянцевания.[23] Википедия также предоставляет Список сокращенных сокращений который опирается на этот и другие источники.

Общая онтология лингвистического описания (GOLD)

GOLD («Общая онтология лингвистического описания») - это онтология за описательная лингвистика. Он дает формализованный отчет о самых основных категориях и отношениях, используемых в научном описании человеческого языка, например, как формализация подстрочных толкований. GOLD был впервые представлен Фарраром и Лангендоеном (2003).[24] Первоначально это было задумано как решение проблемы устранения несопоставимых схем разметки лингвистических данных, в частности данных из исчезающие языки. Однако GOLD гораздо более общий язык и может применяться ко всем языкам. В этой функции ЗОЛОТО перекрывается с ISO 12620 Реестр категорий данных (ISOcat), однако, имеет более строгую структуру.

ЗОЛОТО поддерживалось LINGUIST Список и другие с 2007 по 2010 год.[25] В ОТДЫХАТЬ Проект создал зеркало GOLD версии 2010 года как Выбор категории данных в ISOcat. По состоянию на 2018 год данные GOLD остаются важным терминологическим центром в контексте Лингвистически связанное облако открытых данных, но поскольку он больше не поддерживается активно, его функции все чаще заменяются на OLiA (для лингвистической аннотации, основанной на GOLD и ISOcat) и lexinfo.net (для метаданных словаря на основе ISOcat).

ISO 12620 (Реестр категорий данных ISO TC37, ISOcat)

Основная статья: ISO 12620

ISO 12620 - это стандарт из ISO / TC 37 определяет реестр для регистрации лингвистических терминов, используемых в различных областях перевод, компьютерная лингвистика и обработка естественного языка и определение сопоставлений как между разными терминами, так и между одними и теми же терминами, используемыми в разных системах. Более ранняя редакция этой системы, ISOcat, предоставляет постоянные идентификаторы и URI для лингвистических категорий, включая перечень онтологии GOLD (см. ниже). С 2014 года активно не развивается.[26] С мая 2020 года последующие системы - CLARIN Concept Registry[27] и DatCatInfo[28] только появляются.

Для лингвистических категорий, относящихся к лексические ресурсы, то lexinfo словарный запас представляет собой установленный стандарт сообщества,[29] в частности в связи с ОнтоЛекс словарный запас и машиночитаемые словари в контексте Лингвистически связанные открытые данные технологии. Словарный запас OntoLex основан на Структура лексической разметки (LMF), lexinfo основывается на (LMF-разделе) ISOcat.[30] Однако, в отличие от ISOcat, lexinfo активно поддерживается и в настоящее время (май 2020 г.) расширяется силами сообщества.[31]

Онтологии лингвистической аннотации (OLiA)

По духу аналогичные GOLD, онтологии лингвистической аннотации (OLiA) предоставляют справочный перечень лингвистических категорий для синтаксических, морфологических и семантических явлений, относящихся к лингвистическая аннотация и лингвистические корпуса в виде онтология. Кроме того, они также предоставляют машиночитаемые схемы аннотаций для более чем 100 языков, связанные с эталонной моделью OLiA.[32] Онтологии OLiA представляют собой главный узел терминологии аннотаций в (Лингвистический) Связанные открытые данные облако, с приложениями для поиска, извлечения и машинного обучения на разнородно аннотированных языковых ресурсах.[30]

В дополнение к схемам аннотаций, эталонная модель OLiA также связана с Руководством Eagles,[33] ЗОЛОТО,[33] ISOcat,[34] Реестр концепций CLARIN,[35] Универсальные зависимости,[36] lexinfo,[36] и т. д., таким образом, они обеспечивают возможность взаимодействия между этими словарями. OLiA разрабатывается как проект сообщества на GitHub. [37]

Рекомендации

  1. ^ Универсальные POS-теги
  2. ^ Димитрова, Л., Иде, Н., Петкевич, В., Эрявец, Т., Каалеп, Х. Дж., И Туфис, Д. (1998, август). Multext-east: параллельные и сопоставимые корпуса и лексиконы для шести языков Центральной и Восточной Европы. В Материалы 17-й международной конференции по компьютерной лингвистике-Том 1 (стр. 315-319). Ассоциация компьютерной лингвистики.
  3. ^ Петров, славянин; Дас, Дипанджан; Макдональд, Райан (11 апреля 2011 г.). «Универсальный набор тегов для части речи». arXiv:1104.2086 [cs.CL ].
  4. ^ Петров, Славян (11 апреля 2011 г.). «Универсальный набор тегов для части речи». arXiv:1104.2086 [cs.CL ].
  5. ^ «Стэнфордский зависимый». nlp.stanford.edu. Стэнфордская группа обработки естественного языка. Получено 8 мая 2020.
  6. ^ «Интерсет». cuni.cz. Институт формальной и прикладной лингвистики (Чехия). Получено 8 мая 2020.
  7. ^ «Универсальные зависимости». universaldependencies.org. Получено 2020-05-14.
  8. ^ "aux: pass". universaldependencies.org. Получено 2020-05-14.
  9. ^ UniMorph. «UniMorph: универсальная морфологическая аннотация». UniMorph. Получено 2020-05-14.
  10. ^ System-T / Универсальные предложения, Система-Т, 2020-05-14, получено 2020-05-14
  11. ^ Прейндж, Дж., Шнайдер, Н., и Абенд, О. (2019, август). Семантически ограниченная многослойная аннотация: случай кореферентности. В Труды Первого международного семинара по проектированию смысловых представлений (стр. 164-176).
  12. ^ "Пеннский разбор корпусов исторического английского языка: другие корпуса". www.ling.upenn.edu. Получено 2020-05-14.
  13. ^ "Исландский анализируемый исторический корпус (IcePaHC)". www.linguist.is. Получено 2020-05-14.
  14. ^ Уорнер, Энтони, факультет языка и лингвистических наук Йоркского университета; Тейлор, Энн; Уорнер, Энтони; Пинцук, Сьюзен; Бетс, Франк (сентябрь 2003 г.). "Йорк-Торонто-Хельсинки Синтаксический корпус древнеанглийской прозы (YCOE)". Цитировать журнал требует | журнал = (помощь)
  15. ^ "Penn-Helsinki Parsed Corpus of Middle English 2". www.ling.upenn.edu. Получено 2020-05-14.
  16. ^ "Корпус исторического нижненемецкого языка". www.chlg.ac.uk. Получено 2020-05-14.
  17. ^ Лайт, К., и Валленберг, Дж. (2011). Об использовании пассивных умений в германском языке. Представлено на 13-м заседании конференции по диахронному генеративному синтаксису (DIGS) DIGS 13, Университет Пенсильвании. 5 июня 2011 г.
  18. ^ Беатрис Санторини (1993) [./Ftp://babel.ling.upenn.edu/papers/faculty/beatrice%20santorini/santorini-1993.pdf Скорость изменения фразовой структуры в истории идиша. Языковые вариации и изменения 5, 257-283.
  19. ^ "Проект Тихо Браге". www.tycho.iel.unicamp.br. Получено 2020-05-14.
  20. ^ "NPCMJ - Ninjal Parsed Corpus of Modern Japanese". Получено 2020-05-14.
  21. ^ «Arabic Treebank: Часть 3 (полный корпус) v 2.0 (MPG + синтаксический анализ) - Консорциум лингвистических данных». catalog.ldc.upenn.edu. Получено 2020-05-14.
  22. ^ "Проект Penn Chinese Treebank". verbs.colorado.edu. Получено 2020-05-14.
  23. ^ Комри, Б., Хаспелмат, М., и Бикель, Б. (2008). Лейпцигские правила глянцевания: соглашения для подстрочных глоссий морфема за морфемой. Кафедра лингвистики Института эволюционной антропологии Макса Планка и кафедра лингвистики Лейпцигского университета. Проверено января, 28, 2010.
  24. ^ Скотт Фаррар и Д. Теренс Лангендоэн (2003) «Лингвистическая онтология для семантической сети». GLOT International. 7 (3), стр.97-100, [1].
  25. ^ GOLD версии
  26. ^ "Репозиторий категорий данных (DCR) изменил адрес". www.iso.org. Получено 2020-05-08.
  27. ^ "Реестр концепций CLARIN | КЛАРИН ЭРИК". www.clarin.eu. Получено 2020-05-08.
  28. ^ "DatCatInfo". www.datcatinfo.net. Получено 2020-05-08.
  29. ^ «ЛексИнфо». www.lexinfo.net. Получено 2020-05-14.
  30. ^ а б Чимиано, П., Чиаркос, К., МакКрэй, Дж. П., и Грасиа, Дж. (2020). Лингвистические связанные данные (стр. 137-160). Спрингер, Чам.
  31. ^ онтлекс / лексинфо, Группа сообщества ОнтоЛекс, 07.03.2020, получено 2020-05-14
  32. ^ «Онтологии OLiA». purl.org/olia. Получено 2020-05-14.
  33. ^ а б Чиаркос, К. (2008). Онтология лингвистических аннотаций. В LDV Forum (Том 23, №1, стр. 1-16).
  34. ^ Чиаркос, К. (2010, май). Обоснование онтологии лингвистических аннотаций в Реестре категорий данных. В LREC 2010 Семинар по языковым ресурсам и стандартам языковых технологий (LT и LTS), Валетта, Мальта (стр. 37-40).
  35. ^ Рем, Г., Галанис, Д., Лабропулу, П., Пиперидис, С., Велсс, М., Усбек, Р. и др. (2020). На пути к взаимодействующей экосистеме платформ AI и LT: дорожная карта для реализации различных уровней взаимодействия. Препринт arXiv arXiv: 2004.08355.
  36. ^ а б Кристиан Кьякос, Максим Ионов и Кристиан Фет (2020 г.), Совместимость аннотаций в эпоху пост-ISOcat, LREC 2020
  37. ^ acoli-repo / olia, ACoLi, 2020-03-10, получено 2020-05-14

внешняя ссылка