Мы живем в мире, где говорят на 7000 языков, и в мире, где информационные и коммуникационные технологии становятся все более распространенными. Это предъявляет повышенные требования к более продвинутым технологиям. Эти технологии включают программные инструменты, компьютерные программы и электронные устройства, которые специализируются для анализа, производства или изменения текстов и речи.
Разработка HLT для африканских языков
Взаимодействие с таким языком, как английский, стало проще благодаря множеству инструментов для поддержки, таких как проверки орфографии в браузерах и автозаполнение для текстовых сообщений. Это происходит главным образом потому, что английский язык имеет относительно простую и хорошо изученную грамматику, больше данных, из которых программное обеспечение может извлечь уроки, и значительное финансирование для разработки инструментов. Ситуация несколько иная для большинства языков мира. Это начинает меняться. Транснациональные корпорации, ориентированные на получение прибыли, например, такие как Google, Facebook и Microsoft, вложили средства в разработку HLT также для африканских языков. Исследователи и ученые также исследуют и создают эти технологии. Это имеет прямое отношение к обществу: языки, а также идентичности и культуры, связанные с ними, являются национальным ресурсом для любой страны. В такой стране, как Южная Африка, изучение разных языков может способствовать сплоченности и интеграции. Однако одного лишь изучения языка недостаточно, если нет программных инструментов для его поддержки. Например, какой смысл искать в Интернете, скажем, в isiXhosa, когда алгоритмы поисковой системы в любом случае не могут правильно обработать слова и не возвращают результаты, которые вы ищете? Где проверки правописания, чтобы помочь вам в написании электронных писем, школьных сочинений или новостных статей? Вот почему ученые закладывают теоретические основы и создают инструменты для проверки концепции для нескольких южноафриканских языков. Это включает проверку орфографии для isiZulu и isiXhosa и генерацию текста в основном на этих языках из структурированного ввода.
Использование правил языка для разработки инструментов
Разработка инструментов для группы языков Nguni – и, в частности, isiZulu и isiXhosa – была не просто копированием и вставкой инструментов с английского языка. Пришлось разработать новые алгоритмы, которые могут обрабатывать совершенно другую грамматику. Например, даже просто автоматическое создание множественного числа существительного в isiZulu из существительного в единственном числе потребовало нового подхода, который объединил синтаксис – как он написан – с семантикой (значением) существительных, используя его характерную систему классов существительных. Подходы, основанные на правилах, также предпочтительны для морфологических анализаторов, которые разбивают каждое слово на составные части, и для генерации естественного языка.