История и методология исследования способов обучения глубоких нейронных сетей на ограниченных обучающих наборах (на примере экономическ
Автор: Artem Altyshev • Май 15, 2023 • Реферат • 3,584 Слов (15 Страниц) • 161 Просмотры
Министерство образования и науки Российской Федерации[pic 1]
Федеральное государственное бюджетное образовательное учреждение высшего образования
«Пермский национальный исследовательский политехнический университет»
(ПНИПУ)
РЕФЕРАТ
на тему:
«История и методология исследования способов обучения глубоких нейронных сетей на ограниченных обучающих наборах (на примере экономических систем)»
Электронная версия реферата выслана на кафедру _____________ |
Выполнил: аспирант каф. «Экономика и финансы» ПНИПУ |
_________ ___________ Алтышев А.А. |
(дата) (подпись) (Ф.И.О) |
Научный руководитель: начальник управления организации научных исследований, доцент каф. «Экономика и финансы», |
кандидат экономических наук, Алексеев Александр Олегович |
(Ф.И.О) |
Пермь, 2023
СОДЕРЖАНИЕ
ВВЕДЕНИЕ 2
Глава 1. Историко-научный анализ исследования способов обучения глубоких нейронных сетей на ограниченных обучающих наборах 3
- 1.1. История развития исследования нейронных сетей 3
- 1.2. История развития методов обучения нейронных сетей 6
ГЛАВА 2. Методология обучения глубоких нейронных сетей на ограниченных обучающих наборах 9
- 2.1. Методы обучения глубоких нейронных сетей 9
ЗАКЛЮЧЕНИЕ 17
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 18
ВВЕДЕНИЕ
В настоящее время технологии машинного обучения повсеместно применяются для решения множества задач классификации, прогнозирования и принятия решений. Все чаще в основе этих направлений лежит класс методов, называемых глубоким обучением. Алгоритмы глубокого обучения делают большие успехи в решении задач искусственного интеллекта, которые на протяжении многих лет ставились перед научным сообществом благодаря возможности анализировать сложные структуры в многомерных данных. Алгоритмы глубокого обучения имеют большой потенциал, так как требуют намного меньше ручной работы по сравнению с традиционными методами машинного обучения и их эффективность увеличивается с развитием современных вычислительных систем.
На текущий момент при работе с глубокими нейронными сетями общеизвестной научной проблемой является их обучение и тестирование, поскольку при использовании более пяти скрытых слоёв в процессе обучения происходит затухание сигналов. Данное явление объясняется градиентом.
В настоящей работе представлен обзор истории развития и методологии способов обучения глубоких нейронных сетей на основе предварительной обработки данных и идентификации иерархических механизмов комплексного оценивания (корней принятия решений), которые позволяют получить матрицу смежности графа, соответствующего нейронной сети. Данная матрица позволит целенаправленно сгенерировать значения синаптических коэффициентов, которые будут корректироваться в процессе обучения глубокой нейронной сети.
Глава 1. Историко-научный анализ исследования способов обучения глубоких нейронных сетей на ограниченных обучающих наборах
1.1. История развития исследования нейронных сетей
Первый шаг в исследовании нейросетей был сделан в 1943 г., когда вышла статься нейрофизиолога Уоррена Маккалоха (Warren McCulloch) и математика Уолтера Питтса (Walter Pitts), посвященная искусственным нейронам, а также реализации модели нейронной сети с помощью электрических схем [17].
1949 г. Д. Хебб (D. Hebb) высказал идеи о характере соединений нейронов мозга и их взаимодействии, а также предложил правила обучения нейронной сети.
1950-е гг. Появились программные модели искусственных нейросетей. Первые работы были проведены Натаниелем Рочестером (Nathanial Rochester) из исследовательской лаборатории IBM. И хотя дальнейшие реализации были успешными, эта модель потерпела неудачу, поскольку бурный рост разработок в области традиционных вычислений оставил в тени нейронные исследования.
...