Построение радиальной нейронной сети

ВВЕДЕНИЕ

Задача регрессии заключается в установлении зависимостей непрерывных выходных переменных от значений входных переменных. Регрессионный анализ изначально базировался на получении уравнения линейной множественной регрессии с последующим обобщением на нелинейный случай. С развитием теории искусственных нейронных сетей большую популярность приобрели однонаправленные многослойные нейронные сети. Широкое применение также нашли сети, основанные на радиальных базисных функциях. 

В последнее время получили распространение методы обучения нейронных сетей с радиальными базисными функциями, в которых используется сочетание генетических алгоритмов для подбора параметров активационных функций и методов линейной алгебры для расчета весовых коэффициентов выходного слоя. Нейронные сети с радиальными базисными функциями находят применение как при решении задач классификации или аппроксимации функции многих переменных, так и при прогнозировании, то есть в тех прикладных областях, в которых сигмоидальные сети используются в течение многих лет. Они выполняют те же функции, что и сигмоидальные сети, однако реализуют иные методы обработки данных, связанные с локальными отображениями

Магистранту необходимо самостоятельно овладеть навыками построения алгоритма нейронной, сети основанной на радиальных базисных функциях.

1 Теория метода

В отличие от многослойных нейронных сетей, сети радиального типа реализуют принцип локальной аппроксимации. Радиальная сеть имеет только один скрытый слой, выполняющий нелинейное отображение при помощи нейронов с базисными радиальными функциями вида .[pic 1]

Математическая запись такой сети имеет вид

[pic 2]

где x – входной вектор, w = (w0, w1, …, wH)T - вектор весов скрытого слоя; ci (i = 1, 2, …, H) – множество центров, подлежащих определению.

Для обучения радиальной сети применяется алгоритм, минимизирующий целевую функцию вида

[pic 3]

где  P – количество  обучающих  пар  (xi,  di);  H – количество  радиальных функций; di – ожидаемый выход сети.

В качестве радиальных функций используется функция Гаусса

 [pic 4]

либо обобщенная функция Гаусса[pic 5]

Первым этапом алгоритма является процедура подбора параметров радиальных функций, которая является главной трудностью в обучении радиальных сетей. Для решения этой задачи предлагается центры базисных функций ci подбирать методом нечеткой самоорганизации C-means. Этот алгоритм позволяет точно определить положение центров ci, что существенно ускоряет процесс обучения и гарантирует нахождение глобального минимума. Упрощенным вариантом является задание координат центров случайным образом в диапазоне изменения переменных.

Второй этап расчета весовых коэффициентов w = (w0, w1, …, wH)T предполагает вычисление псевдоинверсии радиальной матрицы.  Радиальная матрица, обозначим ее через G, составляется из радиальных функций и содержит P строк и H столбцов.

[pic 6]

Вектор весов w = (w0, w1, …, wH)T находится с помощью операции псевдоинверсии матрицы G:

W = G+ D, 

где D = [d1, d2, …, dp]T - вектор ожидаемых значений; G+ –псевдоинверсия матрицы G, которая рассчитывается с помощью операции инверсии G+ = (GTG)-1GT.

2 Алгоритм и численная реализация метода