Обработка естественного языка и машинное обучение

Ядро умного чат-бота
Благодаря NLP (обработке естественного языка) и машинному обучению чат-боты могут интерпретировать данные, поступившие на естественном языке. Диалоговые системы помогают расшифровать эти данные в значимую информацию, и предоставляют ответ за запрос. Точность интерпретации введённых данных при этом зависит от компонентов NLP. В этой статье мы рассмотрим компоненты NLP и их возможности.
NLP, диалоговая система и самые распространённые задачи
Многие компании пытаются разработать идеального чат-бота, который, как живой, ведёт диалог, неотличимый от обычного общения между людьми.
Старые добрые простые чат-боты применяют
— эвристики с распознанием образов,
— подбор выражений, основанный на правилах,
— очень простое машинное обучение.
Эти системы эффективны только при сравнении фиксированного набора правил.
Новые, более хитроумные, чат-боты используют глубокое обучение не только для анализа ввода человеческой речи, но и для генерирования ответов. Анализ и создание ответа достигается в результате использования алгоритма глубокого обучения, который применяется в декодировке ввода и генерировании ответа. NLP также переводит ввод и вывод в текстовый формат, понятный и компьютеру, и человеку.
Если взглянуть на более простых чат-ботов, любой ответ будет грамматически безупречным. Ведь бот пользуется комплектом готовых предложений в базе данных. И потому он не сможет обработать информацию, если человек допустил грамматические ошибки или написал предложение, которое не совпадает с заданными шаблонами. Более новые и более умные чат-боты «натренированы» распознавать естественный язык и реагировать соответственно ситуации. К сожалению, способность естественно отвечать требует огромных затрат времени на обучение, и большого количества данных, чтобы изучить достаточно разнообразных возможных запросов. Дальнейшая тренировка покажет, смогут ли боты справляться с серьёзными вызовами, которые становятся препятствием для простых чат-ботов.
В зависимости от вопроса, беседы могут быть короткими и длинными. Длинные разговоры обычно имеют более глубокое значение и множество вопросов, которые чат-бот должен «обдумать», чтобы составить целостную картину.
Приводим список задач, которые искусственная обработка языка должна решать. Многие из них могут быть связаны с распознаванием как текста, так и речи или даже картинок.
Реферирование
Задача состоит в том, чтобы создать реферат или резюме большого текста. Например, этим занимается SMMRY — бот с социального новостного сайта Reddit.
Открытые и закрытые вопросы
От современных чат-ботов ожидают готовности ответить на вопросы независимо от того, открытые они или закрытые. Хотя, для них, конечно, огромная разница между «Кто сейчас президент США?» и «Почему Трамп сейчас президент США?»
Сопоставление
Бот должен сопоставлять объекты со словами, и понимать, когда разные слова относятся к одному объекту. Например, если в предложении говорится, что «в городе есть два кинотеатра и ресторан», бот должен понять, что это за город, из других предложений в тексте. Он должен быть в состоянии понять связь между различными объектами в тексте.
Двусмысленность
Двусмысленность, которая часто содержится в явлениях естественного языка, пока что представляют серьёзную проблему для ботов. Одна только омонимия требует, чтоб было выбранное правильное зачение в зависимости от контекста. Некоторые языки более двусмысленные, в них сложнее проанализировать выражения.
Морфология
В каждом языке особая морфология. И чат-бот должен уметь разделить слова на морфемы.
Семантика
Собственно, это задача определения смысла предложений или слов в естественном языке, и генерация высказываний на естественном языке. Гарантирует боту способность переводить естественный язык, анализировать вопросы на нём или создавать ответ.
Структура текста
Связана со структурой текста и пунктуацией. Правила могут значительно отличаться в разных языках.
Тональность
Чат-бот должен различать эмоциональную окраску высказываний человека, его отношение к предмету разговора. Должен распознавать по манере изъясняться, строению предложений и выбору слов, в каком настроении человек: зол, счастлив, печален.
Эти элементы обработки естественного языка в совокупности обеспечивают разработку интеллектуальных ботов.

Источник: https://chatbotsmagazine.com/natural-language-processing-and-machine-learning-the-core-of-the-modern-smart-chatbot-8755c6343fa5#.rl2xg7lce

Напишите нам!

Мы ответим в течение 2 часов