Аналіз авторегресійної моделі обробки природньої мови GPT-3

Курсова робота зі спеціалізації

Аналіз авторегресійної моделі обробки природньої мови GPT-3

ЗМІСТ

ЗМІСТ 2

ВСТУП 3

РОЗДІЛ 1. МЕТОДИ ТА СИСТЕМИ ШТУЧНОГО ІНТЕЛЕКТУ 6

1.1 Загальні відомості про штучний інтелект. 6

1.2 Машинне навчання 7

1.3 Вибір моделі машинного навчання 10

1.4 Комп’ютерна обробка природної мови та повний аналіз тексту. 11

1.5 Математична модель нейроної мережі. 20

РОЗДІЛ 2. АНАЛІЗ НЕЙРОМЕРЕЖІ GPT-3 25

2.1 Опис GPT-3. 25

2.2 Модель трансформера. 26

2.3 Робота програми, яка спирається на модель GPT-2. 30

2.4 Прикладний інтерфейс GPT-3. 35

2.5 Результати роботи GPT-3. 37

ВИСНОВКИ 42

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 43

ВСТУП

Розвиток фундаментальних, прикладних і технічних наук спричинив необхідність виконання безлічі обчислень. Для цього було винайдено електорнно обчислювальні машини — комп’ютери. Дослідники стверджують, що саме ця галузь науки за останні пів століття досягнула неабияких висот. Без комп’ютерів тепер не можна уявити роботу магазинів, державних та медичних установ, закладів освіти. Однак, ця наука не припиняє нас дивувати. Математики минулого століття описали нам ідею штучного інтелекту, алгоритми, які допоможуть машинам навчатися. В даний час ці математичні моделі вже широко використовуються в повсякденному житті. Кожна людина стикається з засобами штучного інтелекту. Замовляючи таксі в додатку, купуючи електронні білети, користуючись електронною поштою, гортаючи стрічку соціальної мережі — всі ці приклади демонструють роботу даних алгоритмів.

За спрямованістю штучний інтелект поділяють на вузький та загальний. В Інтернеті найбільш поширеними є вузькі моделі, тобто ті, які виконують одну задачу. Ще розділяють сильний та слабкий ШІ, відповідно перший має самосвідомість, а другий просто демонструє розумну поведінку. Поки сильний ШІ є тільки теорією, яку людство намагається розвинути.

Дана галузь інформатики повстала завдяки дослідженню людського мозку, коли було відкрито нейрони та синопсиси, науковці описали математичну модель нейрона, яка зараз активно використовується в алгоритмах ШІ.

Одною з підгалузей ШІ є обробка природної мови (NLP) - міждисциплінарна сфера інформатики, штучного інтелекту та обчислювальної лінгвістики, що забезпечує комунікацію серед комп’ютерів та людських (природних) мов, і, в контексті, залучена до комп’ютерного програмування для ефективної обробки величезних природничих мовних корпусів[6].

Обробка та розуміння природної мови включає широкий спектр різноманітних завдань, що включають розгалуження тексту, запитання та відповіді, семантичну оцінку та класифікацію документів. Завдяки комп'ютерній лінгвістиці та обробці природніх мов створюються не тільки програми, а й самі мови програмування.

Найбільшим та найпотужнішим алгоритмом обробки, розуміння та генерування тексту на сьогоднішній день є GPT-3. Ця авторегресійна модель може створювати тексти, які не можна відрізнити від людського, вона також вражає кількістю своїх параметрів — 175 млрд. Хоча ця система повстала у 2020, але вже існують багато програм, які спираються на даний алгоритм. Нейронна мережа має архітектуру трансформер, яка була представлена 2017 році вченими із Google Brain (проект, який займається розробкою штучного інтелекту на основі глибинного навчання).

Актуальність роботи:

Галузь штучного інтелекту