Разработка прототипа чат-бота на основе нейронной сети

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

(ФГБОУ ВО «КубГУ»)

Факультет компьютерных технологий и прикладной математики Кафедра информационных технологий

КУРСОВАЯ РАБОТА

РАЗРАБОТКА ПРОТОТИПА ЧАТ-БОТА НА ОСНОВЕ НЕЙРОННОЙ СЕТИ

Работу выполнила ___________________________________ Д.Д. Васильева (подпись)

Направление подготовки 01.04.02 «Прикладная математика и информатика»

Направленность (профиль) «Технологии программирования и разработки информационно-коммуникационных систем»

Научный руководитель

доц., канд. пед. наук, доц. ________________________ Н.Ю. Добровольская

(подпись)

Нормоконтролер

ст. преп._____________________________________________ А.В. Харченко

(подпись)

Краснодар 2020

РЕФЕРАТ

Курсовая работа 69 с., 2 ч., 37 рис., 17 формул, 26 источников.

ЧАТ-БОТ, LSTM, TRANSFORMER, КЛАССИФИКАЦИЯ, НЕЙРОННЫЕ СЕТИ, NATURAL-LANGUAGE UNDERSTANDING

В работе изучены особенности разработки и использования чат-ботов, рассмотрены их свойства, преимущества, ограничения и влияние на процесс взаимодействия с клиентами от лица компании или бренда, рассмотрены особенности архитектуры, обучения и применения нейронных сетей.

Цель работы – изучение особенностей конструирования и применения чат-ботов, реализация прототипа чат-бота на основе нейронной сети.

В работе рассмотрен и проанализирован ряд задач прогнозирования последовательностей и архитектур нейронных сетей, применимых для решения данных задач, рассмотрены существующие классификации чат- ботов.

Практическая часть работы представлена разработкой прототипа AI-чат- бота для поддержки клиентов авиакомпании на платформе мессенджера Telegram, прототип разработан на основе нейронной сети с Transformer- блоком, реализующей концепцию внимания и определяющей намерение пользователя. Также был рассмотрен вариант применения нейронной сети Bidirectional LSTM для решения данной задачи, был проведен анализ результатов. Прототип чат-бота реализован на языке программирования Python с использованием таких библиотек и модулей, как TensorFlow и Keras, а также NumPy, Pandas, Scikit-learn, NLTK, Spacy, pymorphy2, langdetect и библиотек для доступа к Telegram API. В качестве базы данных была выбрана MongoDB.

СОДЕРЖАНИЕ

Введение..................................................................................................................... 4 1 Теоретические сведения о чат-ботах и особенностях их разработки............... 5 1.1 Понятие чат-бота и цели создания чат-ботов................................................. 5 1.2 Анализ преимуществ и недостатков использования чат-ботов ................... 8 1.3 Области, цели и особенности применения нейронных сетей .................... 13 1.4 Классификация чат-ботов, в том числе основанных на нейронных сетях и машинном обучении ............................................................................................. 20 1.5 Проблема прогнозирования последовательностей...................................... 25 1.6 Архитектура LSTM сетей............................................................................... 32 1.7 Архитектура Transformer сетей...................................................................... 44 2 Реализация прототипа AI-чат-бота для поддержки клиентов авиакомпании 52 2.1 Принципы создания AI-чат-бота ................................................................... 52 2.2 Структура AI-чат-бота и его прототипа........................................................ 55 2.3 Архитектура нейросетевых моделей, подготовка данных и результаты .. 57 Заключение............................................................................................................... 65 Список использованных источников .................................................................... 66

3

ВВЕДЕНИЕ

В настоящее время компании и бренды, которые действуют в самых разнообразных областях, продолжают динамично развиваться и расширять свое взаимодействие с клиентами. При этом предложение