Natural Language Processing (NLP), или обработка естественного языка – технология, позволяющая программе понимать естественный человеческий язык в том виде, в котором он произносится или пишется. Технология – компонент искусственного интеллекта (ИИ). 

Компании используют огромные объемы неструктурированных текстовых данных и нуждаются в их эффективной обработке. Большая часть информации, хранящейся в базах данных, является естественным человеческим языком. NLP используется для извлечения и эффективного анализа данных естественного языка. 

Этапы обработки естественного языка 

Существует два основных этапа обработки естественного языка: предварительная обработка данных и разработка алгоритма. 

Предварительная обработка данных включает в себя подготовку и «очистку» текстовых данных, чтобы машины могли их анализировать. Предварительная обработка приводит данные в работоспособную форму и выделяет в тексте функции, с которыми может работать алгоритм. Для этого используется: 

• Токенизация. Текст делится на небольшие блоки для упрощения дальнейшей работы. 
• Удаление стоп-слов. Слова, не обладающие ключевой смысловой нагрузкой, исключаются, чтобы оставить только уникальные. 
• Лемматизация. Группировка слов для дальнейшего анализа с использованием одного термина, который представляет собой словарную форму слова. 
• Стемминг. Связывание склонений слова с его корневой формой. 

• Маркировка частями речи.  Словам присваиваются метки в соответствии с частями речи, к которым они относятся. 

Когда предварительная обработка данных завершена, наступает этап разработки алгоритма NLP. Есть много разных алгоритмов обработки, но чаще применяют следующие: 

• систему на тазе четко определенных лингвистических правил. Подход применялся на начальной стадии разработки технологии NLP и остается актуальным и сейчас; 
• систему на базе машинного обучения с использованием статистических методов. Комбинируя Machine Learning, Deep Learning  и нейронные сети, алгоритмы NLP совершенствуются и самообучаются. 

Техники и методы NLP 

Анализ синтаксиса и семантики – два основных метода, используемых при обработке естественного языка. 

Синтаксис — это расположение слов в предложении, обеспечивающее грамматический смысл. NLP использует синтаксис для оценки значения языка на основе грамматических правил. Синтаксические методы включают в себя: 

• Разбор – грамматический анализ предложения. 

Пример: алгоритм NLP получает предложение «Собака залаяла». Разбор состоит из разбиения этого предложения на части речи: собака = существительное, лаял = глагол.  Это полезно для сложных задач последующей обработки. 

• Сегментация слов – изъятие строки текста и получения из нее словоформ. 

Пример: человек сканирует рукописный документ в компьютер.  Алгоритм сможет проанализировать страницу и распознать, что слова разделены пробелами. 

• Разделение предложений – установка границ предложений в больших текстах. 

Пример: алгоритму обработки естественного языка передается текст «Собака залаяла. Я проснулся». Алгоритм может распознавать паузу, которая разделяет предложения, и разделить текст на предложения. 

• Морфологическая сегментация – разделение слова на более мелкие части, называемые морфемами. 

Пример: слово «неповторимый» будет разбито на [[не[[повтор]им]]ый], где алгоритм распознает «не», «повтор», «им» и «ый» как морфемы. Это особенно полезно при машинном переводе и распознавании речи. 

• Стемминг – разделение слов в зависимости от изменений их корневой формы. 

Пример: в предложении «Собака залаяла» алгоритм сможет распознать корень слова «лаял» как «лай». Алгоритм может видеть, что это по сути одно и то же слово, хотя буквы разные. 

Семантика включает в себя использование значений слов. Технология NLP применяет алгоритмы для понимания значения и структуры предложений. Семантические методы включают в себя: 

• Многозначность смысла слова – определение значения слова на основе контекста. 

Пример: рассмотрим словосочетание «стрелять из лука».  Слово «лук» имеет разные значения.  Алгоритм, использующий этот метод, может понять, что слово «лук» использовано здесь в значении «оружие» и не относится к категории «овощи». 

• Распознавание именованных объектов – определение слов, которые можно разделить на группы. 

Пример: алгоритм, использующий этот метод, может проанализировать новостную статью и выявить все упоминания определенной компании или продукта. Используя семантику текста, он сможет различать объекты, которые визуально одинаковы. Например, в предложении «Вера смотрела с верой в глазах» алгоритм может распознать два экземпляра слова «Вера» как два отдельных объекта – человека и состояние. 

Функции обработки естественного языка 

• Классификация текстов включает в себя присвоение тегов, которые помогают алгоритму обработки естественного языка определить тональность или эмоцию, стоящую за текстом 

Например, когда бренд А упоминается в X текстах, алгоритм может определить, сколько из этих упоминаний были положительными, а сколько отрицательными. 

• Извлечение текста – создание автоматического резюме по теме текста и поиск важных фрагментов данных. 

Одним из примеров этого является извлечение ключевых слов, которое может быть полезно для поисковой оптимизации.  

• Машинный перевод – процесс, посредством которого компьютер переводит текст с одного языка на другой язык без вмешательства человека. 
• Генерация естественного языка – использование алгоритмов NLP для анализа неструктурированных данных и автоматического создания контента на основе этих данных. 

Перечисленные выше функции используются в различных реальных приложениях, в том числе: 

• анализе отзывов клиентов — искусственный интеллект способен анализировать отзывы в социальных сетях; 
• анализе настроений – технология позволяет заранее определить склонность к суицидам или другим противоправным действиям на основе написанных текстов или устных высказываний; 
• автоматизации обслуживания клиентов – когда голосовые помощники на другом конце телефонной линии обслуживания клиентов могут использовать распознавание речи, чтобы понять, что говорит клиент, для правильного перенаправления звонка; 
• голосовом управлении техническими средствами; 
• автоматический перевод с использованием таких инструментов, как Google Translate, Translate Me и т.д.; 

• академических исследованиях и анализе — где ИИ может анализировать огромное количество академических материалов и исследовательских работ не только на основе метаданных текста, но и его самого; 
• анализе и категоризации медицинских записей, где ИИ использует информацию для прогнозирования и, в идеале, предотвращения заболеваний; 
• платформах для определения уровня оригинальности/плагиата текстов; 
• обнаружении спама на основе чрезмерного использования терминов, плохой грамматики, неправильного написания названия компаний и других характерных признаков массовых рассылок; 
• прогнозировании акций и понимании финансового трейдинга — использование ИИ для анализа истории рынка и десятков тысяч документов, содержащих исчерпывающие сводки о финансовых показателях компаний. 

Преимущества обработки естественного языка 

Основное преимущество NLP заключается в том, что оно улучшает способ общения людей и компьютеров друг с другом. Другие преимущества включают в себя: 

• повышение точности и эффективности анализа документации; 
• возможность автоматически получать краткий конспект или перечень ключевых мыслей более крупного и сложного исходного текста; 
• создание личных голосовых помощников, которые понимают устную речь; 

• разработку чат-ботов для поддержки клиентов; 
• использование анализа настроений для продвижения и разработки маркетинговых стратегий; 
• получение расширенных аналитических данных, которые ранее были недоступны из-за большого объема неструктурированной информации. 

Проблемы обработки естественного языка 

Существует ряд проблем обработки естественного языка, и большинство из них сводятся к тому, что естественный язык постоянно развивается. Они включают: 

• Точность. Компьютеры традиционно требуют, чтобы люди «говорили» с ними на языке программирования, который является точным, недвусмысленным и хорошо структурированным. Однако человеческая речь не всегда точна, слова могут быть неоднозначны, а языковая структура зависит от сложных переменных, включая сленг, региональные диалекты и социальный контекст. 
• Тон голоса и интонация. Обработка естественного языка еще не совершенна. Решения, основанным на NLP, с трудом улавливают сарказм. Такие речевые приемы обычно требуют понимания используемых слов и их разговорный контекст. Другой пример: предложение может менять значение в зависимости от того, на какое слово или слог говорящий ставит ударение.  Алгоритмы NLP могут упускать тонкие, но важные изменения тона голоса человека при распознавании речи.  Тон и интонация речи также могут различаться в зависимости от акцента, что дополнительно усложняет процесс анализа алгоритмом. 
• Развитие использования языка. Обработка естественного языка также усложняется тем фактом, что язык и то, как люди его используют, постоянно меняются. Хотя в языке есть правила, ни одно из них не высечено на камне, и со временем они претерпевают изменения.  Жесткие вычислительные правила, которые работают сейчас, могут устареть, поскольку характеристики реального языка со временем меняются. 

Обработка естественного языка играет жизненно важную роль в технологиях и в том, как люди взаимодействуют с ними. Он используется во многих реальных приложениях как в бизнесе, так и в потребительской сфере, включая чат-боты, кибербезопасность, поисковые системы и аналитику больших данных. Ожидается, что, хотя и не без проблем, NLP будет оставаться важной частью как индустрии, так и повседневной жизни.