Нейросетевое моделирование

  Замечательной особенностью нейросетевых моделей (аппроксимаций системной функции на основе конечного набора наблюдений) являются их внутренние регуляризирующие свойства, позволяющие получать малые ошибки обобщения. Полезность регуляризирующих свойств нейронных сетей проявляется в ситуациях, когда экспериментальные данные о системе содержат внутреннюю избыточность. Избыточность позволяет представить совокупность данных моделью, содержащей меньшее число параметров, чем имеется данных. Таким образом, нейросетевая модель сжимает экспериментальную информацию, устраняя шумовые компоненты и подчеркивая непрерывные, гладкие зависимости.

  Следует отметить, что в случае полностью  случайных отображений построение модели с малой ошибкой обобщения  не возможно. Достаточно рассмотреть простой пример, в котором аппроксимируется отображение фамилий абонентов телефонной сети (вектор входов X) в номера их телефонов (вектор выходов Y). При любой схеме построения обобщающей модели предсказание номера телефона нового абонента по его фамилии представляется абсурдным.

  Имеется обширная научная библиография, посвященная обоснованию оптимального выбора нейроархитектур и переходных функций нейронов исходя из различных видов регуляризирующих функционалов j (см., например [11] и цитируемую там литературу). Практическая направленность данной главы не позволяет изложить математические детали. Одним из продуктивных подходов к построению нейросетей с хорошими обобщающими свойствами является требование убывания высоких гармоник Фурье переходных функций. Различные законы убывания приводят к локальным сплайн-методам и нейросетям с радиальными базисными функциями.

  В случае сигмоидальной переходной функции  абсолютная величина коэффициентов  Фурье¹ асимптотически быстро убывает. Это свойство отчасти объясняет регуляризирующие свойства популярных многослойных сетей с такими переходными функциями.

  Рассмотрим  особенности регуляризированных решений  обратных задач моделирования описанных  систем A, B и C. Обучающая выборка  в расчетах содержала 200 пар x-y, в которых величина x случайно равномерно распределена на отрезке [0,1], а значение y определяется моделируемой функцией. Расчеты проведены для нейросети с обратным распространением ошибки и нейросети встречного распространения. Еще 500 случайных примеров служили для оценки ошибки обобщения. В трех сериях расчетов величины y из обучающей выборки нагружались внешней шумовой компонентой с амплитудой 0%, 10% и 50% соответственно. Обучение проводилось на обратной зависимости x(y), т.е. величины y использовались в качестве входов, а x - выходов нейросети.

  Проведенные расчеты преследовали следующие основные цели:  

• выяснение возможности получения оценки некорректности задачи из наблюдений за ошибкой обучения и обобщения,
• изучение роли шума и его влияния на точность оценки степени некорректности,

  Результаты  моделирования  приведены на Рис. 3 - 7.

Рис. 3 Зависимость ошибки обучения E_L (кружки) и ошибки обобщения E_G (точки) от степени некорректности h обратной задачи при различных уровнях шума 

  На  Рис. 3 представлено изменение ошибки обучения (и практически совпадающей с ней ошибки обобщения) при росте скачка моделируемой функции. Ошибка при различных уровнях шума прямо пропорциональна величине скачка, определяемого параметром некорректности h. Для сильно некорректной задачи (h=1) результаты полностью не зависят от шума в данных. Теоретически, для неограниченного обучающего набора для моделируемых систем имеется точное (линейное) решение, минимизирующее среднеквадратичное уклонение, которое в предельном случае (h=1) дает значение ошибки 0.25. Расчетное значение на Рис.3 в этом наихудшем случае близко к данной теоретической величине.

  Таким образом, скейлинг ошибки обучения выявляет степень некорректности задачи независимо от присутствия аддитивного шума в обучающих данных. Данные шум  может быть вызван как неточностью измерений, так и эффектом "скрытых" параметров, неучтенных в модели.

  На  следующем рисунке приведено  регуляризованное решение предельно  некорректной задачи (h=1), даваемое нейронной сетью с обратным распространением, обученной на зашумленных данных.

Рис. 4. Регуляризованное решение (точки) предельно некорректной обратной задачи, полученное при помощи нейросети  с обратным распространением ошибки на зашумленных  данных (кружки).

  Решение отвечает минимуму среднеквадратичного уклонения от обучающих данных, что является типичным для сетей с сигмоидальными функциями.

  Укажем  явно, в чем состоит характер априорных  предположений, принимаемых при  построении нейросетевых моделей. Единственное предположение (которого оказывается достаточно для регуляризации) состоит в указании базисной архитектуры нейросети с ограничением ее структурной сложности. Последнее существенно, т.к., например, при неограниченном увеличении числа нейронов на скрытом слое, сеть способна достаточно точно запомнить дискретный обучающий набор. При этом вместо гладкого решения (Рис.4) будет получено "пилообразное" решение, колеблющееся между двумя ветвями обратной функции, проходя через все обучающие точки.

ЗАКЛЮЧЕНИЕ

Нейронные сети являются естественным инструментом для построения эффективных и гибких информационных моделей инженерных систем. Различные нейроархитектуры отвечают различным практическим требованиям.

  Сети  двойственного функционирования с  обратным распространением ошибки и  сети встречного распространения обладают хорошими обобщающими свойствами и дают количественные решения для прямых информационных задач.

  Внутренние  регуляризирующие особенности нейронных  сетей позволяют решать также  обратные и комбинированные задачи с локальной оценкой точности. Для некорректно поставленных задач моделирования предложена нейросетевая информационная технология построения гибридной нейроархитектуры, содержащей кластеризующую карту Кохонена и семейство сетей с обратным распространением, обучаемых на данных индивидуальных кластеров. В этой технологии выявляются области частичной корректности задачи, в которых дается решение с высокой локальной точностью. Для остальных областей признакового пространства нейросеть автоматически корректно отвергает пользовательские запросы.

СПИСОК  ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 

1. В. А. Головко  Нейронные сети: обучение, организация  и применение. — М.:  Изд-во «ИПРЖ», 2002. — 256 с.
2. А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин и др. Нейроинформатика - Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296с.