Scientific journal
Advances in current natural sciences
ISSN 1681-7494
"Перечень" ВАК
ИФ РИНЦ = 0,775

Поиск оптимальной структуры искусственных нейронных сетей (ИНС) является до сих пор нерешенной проблемой. Как правило, структура ИНС определяется исходя из опыта и интуиции исследователя. Проблема выбора осложняется тем обстоятельством, что при решении задачи аппроксимации заданной статистической выборки может быть найдено несколько вариантов ИНС одинаковой структуры, обеспечивающих необходимую точность аппроксимации в узлах, но описывающих различные функциональные континуумы. Приведенные в докладе результаты посвящены проблеме повышения адекватности нейросетевых поверхностей отклика на базе персептрона с одним скрытым слоем (ОСП) и рассматриваются в контексте создания методики оптимизации структуры ИНС для решения задач аппроксимации и моделирования.

Для получения корректного решения задачи синтеза ИНС фиксированной структуры в отсутствие идеального и бесконечно большого обучающего множества необходима регуляризация процедуры обучения, направленная на предотвращение переобученности сети [1]. При достаточном объеме экспериментальных данных проблема может быть с успехом решена методом контрольной кросс-проверки, когда часть данных не используется в процедуре обучения ИНС, а служит для независимого контроля результата обучения [2].

Включение в алгоритм обучения дополнительной информации о нейросетевой функции (ограниченность, гладкость, монотонность) приводит к модификации целевой функции и необходимости минимизации двух и более критериев при обучении. В работе [3] был предложен байесовский подход для решения задач интерполяции зашумленных данных. Метод байесовской регуляризации основан на использовании субъективных предположений относительно исследуемой функции и может применяться как на этапе структурной оптимизации ИНС, так и на этапе обучения. В работе [4] регуляризация осуществляется путем представления целевой функции в виде свертки

f,                         (1)

где ED - суммарная квадратическая ошибка, EW - сумма квадратов весов сети.

Здесь основной акцент делается на проблеме определения корректных значений параметров целевой функции α и β. В то же время существует возможность модификации регуляризационного критерия в формуле (1), основанной на аналитическом определении кривизны аппроксимационной поверхности отклика. В соответствии с полученными результатами изложим разработанную методику оптимизации структуры ИНС с использованием энергетического фактора.

1. Находится приближенное значение энергетического фактора для заданного набора экспериментальных данных

f.

Вторые производные в этой формуле определяются либо по дискретным аппроксимационным зависимостям, либо с использованием кусочно-многочленной интерполяции.

2. Определяется начальное приближение числа нейронов в скрытом слое:

f,

где n - размерность входного сигнала; m - размерность выходного сигнала; N - число элементов обучающей выборки.

3. В гиперпространстве синаптических весов f генерируются равномерные последовательности точек размерности M0 при помощи f алгоритма [5], которые будут являться поочередно начальными приближениями для процессов обучения разных вариантов ОСП фиксированной структуры.

4. Решается M0 задач обучения ОСП. Из них выбираются f различных вариантов ОСП одинаковой структуры, которые обеспечивают заданную точность. Для M* различных ОСП рассчитываются значения энергетического фактора

f                (2)

5. Если M* ≠0, то количество нейронов в скрытом слое уменьшается на 1 L=L-1. Если M* =0, то L=L+1. Осуществляется переход на п. 3. Если пункт 5 выполняется второй раз для одного и того же числа нейронов в скрытом слое L, то переход на п. 6.

6. Выбирается оптимальная структура сети, обеспечивающая минимум расхождения |K* -K| при заданной точности аппроксимации.

В рамках идеи обучения ОСП фиксированной структуры для получения нейросетевых поверхностей отклика минимальной кривизны разработан алгоритм комбинированного обратного распространения ошибки, позволяющий получать аппроксимации заданной точности с необходимым значением энергетического фактора функции аппроксимации по входным переменным, что повышает робастные свойства разработанной методики создания ОСП оптимальной структуры для использования в качестве экспериментальных факторных моделей.

СПИСОК ЛИТЕРАТУРЫ

  1. Bishop C.M. Neural networks for pattern recognition. - Oxford University Press, 1995.
  2. StatSoft, Inc. (1999). Электронный учебник по статистике. Москва, StatSoft. http://www.statsoft.ru/.
  3. MacKay, D.J.C. Bayesian Interpolation // Neural Computation, - 1991.
  4. Севастьянов А.А., Харинцев С.С., Салахов М.Х. Нейросетевая регуляризация решения обратных некорректных задач прикладной спектроскопии/ Электронный журнал «Исследовано в России», http://zhurnal.ape.relarn.ru/articles/2003/189.pdf.
  5. Статников Р.Б., Матусов И.Б. Многокритериальное проектирование машин. - М.: Знание, 1989.