Метод обучения нейронной сети

Среди известных алгоритмов обучения нейронной сети, как показали наши исследования, наиболее оптимальным как по времени, так и по ошибке обучения сети является алгоритм Лсвснбсрга Марквардта. Для описания этого метода представим целевую функцию в виде, отвечающем существованию единственной обучающей выборки,

где е, = [у/(и’)-dj]. При использовании обозначений

(2.4) вектор градиента и аппроксимированная матрица гессиана, соответствующие целевой функции (2.3), определяются в виде

g(w) = [j(w)]^re(w), (2.5)

G(w) = [J(w)]^r J(w) + R(w), (2.6)

где R(w) обозначены компоненты гессиана H(w), содержащие высшие производные относительно И'.

Сущность подхода Левенберга-Марквардта состоит в аппроксимации R(w) с помощью регуляризационного фактора vl, в котором переменная v, называемая параметром Левенберга-Марквардта, является скалярной величиной, изменяющейся в процессе оптимизации. Таким образом, аппроксимированная матрица гессиана на к-м шаге алгоритма приобретает вид

G(w_Jl) = p(_n.)]^rJ(>v_i) ₊ v_jtl. (2.7)

В начале процесса обучения, когда фактическое значение w_k еще далеко от искомого решения (велико значение вектора погрешности е), используется значение параметра, намного превышающее собственное значение матрицы. В таком случае гессиан фактически подменяется регуляризационным фактором:

G(*>) = v*l, (2.8)

а направление минимизации выбирается по методу наискорсйшсго спуска:

Рк =~g(^wk')/^vk ? (2-9)

По мере уменьшения погрешности и приближения к искомому решению величина параметра v_k понижается и первое слагаемое в формуле (2.6) начинает играть все более важную роль.

На эффективность алгоритма влияет грамотный подбор величины v_k . Слишком большое начальное значение v_k по мере прогресса оптимизации должно уменьшаться вплоть до нуля при достижении фактического решения, близкого к искомому. Известны различные способы подбора этого значения, но мы ограничимся описанием только одной оригинальной методики, предложенной Д. Марквардтом. Пусть значения целевой функции на к-м и (к - 1)-м шагах итерации обозначаются соответственно Е_к и Е_к., а значения параметра v на этих же шагах -v_A, и . Коэффициент уменьшения значения v обозначим причем г - 1. В соответствии с классическим алгоритмом Левенберга-Марквардта значение v изменяется по следующей схеме:

• - если Е(v*_| / г) < Е_к , то принять v_k = /у ;
• - если E(v^_| /г) > Е_к и E(v_a._|) < Е_к , то принять v_k = ;

- если Е(Ук-і /г) > Ej. и , то увеличить последовательно

т раз значение v до достижения ?(v_jfc__l/г^,п) < Е_к , одновременно принимая V4=V*.!/г"'.

Такая процедура изменения значения v выполняется до момента, в котором так называемый коэффициент верности отображения q, рассчитываемый по формуле

<7 = _т---- --------? (2-Ю)

[^Д‘П ] gk + 0,5 [Aw* ] G_kbw_k

достигает значения, близкого к единице. При этом квадратичная аппроксимация целевой функции имеет высокую степень совпадения с истинными значениями, что свидетельствует о близости оптимального решения. В такой ситуации регуляризационный фактор в формуле (2.7) может быть опущен (v_k = 0), процесс определения гессиана сводится к непосредственной аппроксимации первого порядка, а алгоритм Левенберга-Марквардта превращается в алгоритм Гаусса-Ньютона, характеризующийся квадратичной сходимостью к оптимальному решению.

Основные результаты и выводы но главе 2

• 1. Разработаны конструкции экспериментальных моделей стальных 11-образных рам и представлена методика проведения натурных испытаний.
• 2. Определены виды экспериментов с дефектами грунтового основания характерными для большинства фундаментов мелкого заложения.
• 3. Проведено экспериментальное исследование НДС стальных П-образ-ных рам на деформируемом основании с дефектами.
• 4. Рассмотрен и обоснован математический метод нейронных сетей для обработки экспериментальных данных и получения функциональных зависимостей.