Поиск оптимальной структуры искусственных нейронных сетей (ИНС) является до сих пор нерешенной проблемой. Как правило, структура ИНС определяется исходя из опыта и интуиции исследователя. Проблема выбора осложняется тем обстоятельством, что при решении задачи аппроксимации заданной статистической выборки может быть найдено несколько вариантов ИНС одинаковой структуры, обеспечивающих необходимую точность аппроксимации в узлах, но описывающих различные функциональные континуумы. Приведенные в докладе результаты посвящены проблеме повышения адекватности нейросетевых поверхностей отклика на базе персептрона с одним скрытым слоем (ОСП) и рассматриваются в контексте создания методики оптимизации структуры ИНС для решения задач аппроксимации и моделирования.
Для получения корректного решения задачи синтеза ИНС фиксированной структуры в отсутствие идеального и бесконечно большого обучающего множества необходима регуляризация процедуры обучения, направленная на предотвращение переобученности сети [1]. При достаточном объеме экспериментальных данных проблема может быть с успехом решена методом контрольной кросс-проверки, когда часть данных не используется в процедуре обучения ИНС, а служит для независимого контроля результата обучения [2].
Включение в алгоритм обучения дополнительной информации о нейросетевой функции (ограниченность, гладкость, монотонность) приводит к модификации целевой функции и необходимости минимизации двух и более критериев при обучении. В работе [3] был предложен байесовский подход для решения задач интерполяции зашумленных данных. Метод байесовской регуляризации основан на использовании субъективных предположений относительно исследуемой функции и может применяться как на этапе структурной оптимизации ИНС, так и на этапе обучения. В работе [4] регуляризация осуществляется путем представления целевой функции в виде свертки
, (1)
где ED - суммарная квадратическая ошибка, EW - сумма квадратов весов сети.
Здесь основной акцент делается на проблеме определения корректных значений параметров целевой функции α и β. В то же время существует возможность модификации регуляризационного критерия в формуле (1), основанной на аналитическом определении кривизны аппроксимационной поверхности отклика. В соответствии с полученными результатами изложим разработанную методику оптимизации структуры ИНС с использованием энергетического фактора.
1. Находится приближенное значение энергетического фактора для заданного набора экспериментальных данных
.
Вторые производные в этой формуле определяются либо по дискретным аппроксимационным зависимостям, либо с использованием кусочно-многочленной интерполяции.
2. Определяется начальное приближение числа нейронов в скрытом слое:
,
где n - размерность входного сигнала; m - размерность выходного сигнала; N - число элементов обучающей выборки.
3. В гиперпространстве синаптических весов 
генерируются равномерные последовательности точек размерности M0 при помощи 
алгоритма [5], которые будут являться поочередно начальными приближениями для процессов обучения разных вариантов ОСП фиксированной структуры.
4. Решается M0 задач обучения ОСП. Из них выбираются 
различных вариантов ОСП одинаковой структуры, которые обеспечивают заданную точность. Для M* различных ОСП рассчитываются значения энергетического фактора
(2)
5. Если M* ≠0, то количество нейронов в скрытом слое уменьшается на 1 L=L-1. Если M* =0, то L=L+1. Осуществляется переход на п. 3. Если пункт 5 выполняется второй раз для одного и того же числа нейронов в скрытом слое L, то переход на п. 6.
6. Выбирается оптимальная структура сети, обеспечивающая минимум расхождения |K* -K| при заданной точности аппроксимации.
В рамках идеи обучения ОСП фиксированной структуры для получения нейросетевых поверхностей отклика минимальной кривизны разработан алгоритм комбинированного обратного распространения ошибки, позволяющий получать аппроксимации заданной точности с необходимым значением энергетического фактора функции аппроксимации по входным переменным, что повышает робастные свойства разработанной методики создания ОСП оптимальной структуры для использования в качестве экспериментальных факторных моделей.
СПИСОК ЛИТЕРАТУРЫ
- Bishop C.M. Neural networks for pattern recognition. - Oxford University Press, 1995.
- StatSoft, Inc. (1999). Электронный учебник по статистике. Москва, StatSoft. http://www.statsoft.ru/.
- MacKay, D.J.C. Bayesian Interpolation // Neural Computation, - 1991.
- Севастьянов А.А., Харинцев С.С., Салахов М.Х. Нейросетевая регуляризация решения обратных некорректных задач прикладной спектроскопии/ Электронный журнал «Исследовано в России», http://zhurnal.ape.relarn.ru/articles/2003/189.pdf.
- Статников Р.Б., Матусов И.Б. Многокритериальное проектирование машин. - М.: Знание, 1989.