Искусственные нейронные сети (ИНС)

Аппроксимация

Основная  статья: Аппроксимация

Нейронные сети — могут аппроксимировать непрерывные функции. Доказана обобщённая аппроксимационная теорема^[12]: с помощью линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с некоторой наперёд заданной точностью. Это означает, что нелинейная характеристика нейрона может быть произвольной: от сигмоидальной до произвольного волнового пакета или вейвлета, синуса или многочлена. От выбора нелинейной функции может зависеть сложность конкретной сети, но с любой нелинейностью сеть остаётся универсальным аппроксиматором и при правильном выборе структуры может достаточно точно аппроксимировать функционирование любого непрерывного автомата.

]Сжатие данных и Ассоциативная память

Основные  статьи: Нейросетевое сжатие данных, Ассоциативная память

Способность нейросетей к выявлению взаимосвязей между различными параметрами дает возможность выразить данные большой  размерности более компактно, если данные тесно взаимосвязаны друг с другом. Обратный процесс — восстановление исходного набора данных из части информации — называется (авто)ассоциативной памятью. Ассоциативная память позволяет также восстанавливать исходный сигнал/образ из зашумленных/поврежденных входных данных. Решение задачи гетероассоциативной памяти позволяет реализовать память, адресуемую по содержимому^[11].

ЭТАПЫ РЕШЕНИЯ ЗАДАЧ

• Сбор данных для обучения;
• Подготовка и нормализация данных;
• Выбор топологии сети;
• Экспериментальный подбор характеристик сети;
• Экспериментальный подбор параметров обучения;
• Собственно обучение;
• Проверка адекватности обучения;
• Корректировка параметров, окончательное обучение;
• Вербализация сети^[13] с целью дальнейшего использования.

Следует рассмотреть подробнее некоторые  из этих этапов.

Сбор  данных для обучения

Выбор данных для обучения сети и их обработка  является самым сложным этапом решения  задачи. Набор данных для обучения должен удовлетворять нескольким критериям:

• Репрезентативность — данные должны иллюстрировать истинное положение вещей в предметной области;
• Непротиворечивость — противоречивые данные в обучающей выборке приведут к плохому качеству обучения сети.

Исходные  данные преобразуются к виду, в  котором их можно подать на входы  сети. Каждая запись в файле данных называетсяобучающей парой или обучающим вектором. Обучающий вектор содержит по одному значению на каждый вход сети и, в зависимости от типа обучения (с учителем или без), по одному значению для каждого выхода сети. Обучение сети на «сыром» наборе, как правило, не даёт качественных результатов. Существует ряд способов улучшить «восприятие» сети.

• Нормировка выполняется, когда на различные входы подаются данные разной размерности. Например, на первый вход сети подается величины со значениями от нуля до единицы, а на второй — от ста до тысячи. При отсутствии нормировки значения на втором входе будут всегда оказывать существенно большее влияние на выход сети, чем значения на первом входе. При нормировке размерности всех входных и выходных данных сводятся воедино;
• Квантование выполняется над непрерывными величинами, для которых выделяется конечный набор дискретных значений. Например, квантование используют для задания частот звуковых сигналов при распознавании речи;
• Фильтрация выполняется для «зашумленных» данных.

Кроме того, большую роль играет само представление  как входных, так и выходных данных. Предположим, сеть обучается распознаванию  букв на изображениях и имеет один числовой выход — номер буквы  в алфавите. В этом случае сеть получит  ложное представление о том, что  буквы с номерами 1 и 2 более похожи, чем буквы с номерами 1 и 3, что, в общем, неверно. Для того, чтобы избежать такой ситуации, используют топологию сети с большим числом выходов, когда каждый выход имеет свой смысл. Чем больше выходов в сети, тем большее расстояние между классами и тем сложнее их спутать.

Выбор топологии сети

Выбирать  тип сети следует исходя из постановки задачи и имеющихся данных для  обучения. Для обучения с учителем требуется наличие для каждого  элемента выборки «экспертной» оценки. Иногда получение такой оценки для  большого массива данных просто невозможно. В этих случаях естественным выбором  является сеть, обучающаяся без учителя, например, самоорганизующаяся карта Кохонена или нейронная сеть Хопфилда. При решении других задач, таких как прогнозирование временных рядов, экспертная оценка уже содержится в исходных данных и может быть выделена при их обработке. В этом случае можно использоватьмногослойный перцептрон или сеть Ворда.

Экспериментальный подбор характеристик  сети

После выбора общей структуры нужно  экспериментально подобрать параметры  сети. Для сетей, подобных перцептрону, это будет число слоев, число  блоков в скрытых слоях (для сетей  Ворда), наличие или отсутствие обходных соединений, передаточные функции нейронов. При выборе количества слоев и  нейронов в них следует исходить из того, что способности сети к обобщению тем выше, чем больше суммарное число связей между нейронами. С другой стороны, число связей ограничено сверху количеством записей в обучающих данных.

Экспериментальный подбор параметров обучения

После выбора конкретной топологии, необходимо выбрать параметры обучения нейронной  сети. Этот этап особенно важен для  сетей,обучающихся с учителем. От правильного выбора параметров зависит не только то, насколько быстро ответы сети будут сходиться к правильным ответам. Например, выбор низкой скорости обучения увеличит время схождения, однако иногда позволяет избежатьпаралича сети. Увеличение момента обучения может привести как к увеличению, так и к уменьшению времени сходимости, в зависимости от формы поверхности ошибки. Исходя из такого противоречивого влияния параметров, можно сделать вывод, что их значения нужно выбирать экспериментально, руководствуясь при этом критерием завершения обучения (например, минимизация ошибки или ограничение по времени обучения).

Собственно  обучение сети

В процессе обучения сеть в определенном порядке  просматривает обучающую выборку. Порядок просмотра может быть последовательным, случайным и т. д. Некоторые сети, обучающиеся без учителя, например, сети Хопфилда просматривают выборку только один раз. Другие, например, сети Кохонена, а также сети, обучающиеся с учителем, просматривают выборку множество раз, при этом один полный проход по выборке называется эпохой обучения. При обучении с учителем набор исходных данных делят на две части — собственно обучающую выборку и тестовые данные; принцип разделения может быть произвольным. Обучающие данные подаются сети для обучения, а проверочные используются для расчета ошибки сети (проверочные данные никогда для обучения сети не применяются). Таким образом, если на проверочных данных ошибка уменьшается, то сеть действительно выполняет обобщение. Если ошибка на обучающих данных продолжает уменьшаться, а ошибка на тестовых данных увеличивается, значит, сеть перестала выполнять обобщение и просто «запоминает» обучающие данные. Это явление называется переобучением сети или оверфиттингом. В таких случаях обучение обычно прекращают. В процессе обучения могут проявиться другие проблемы, такие как паралич или попадание сети в локальный минимум поверхности ошибок. Невозможно заранее предсказать проявление той или иной проблемы, равно как и дать однозначные рекомендации к их разрешению

Проверка  адекватности обучения

Даже  в случае успешного, на первый взгляд, обучения сеть не всегда обучается  именно тому, чего от неё хотел создатель. Известен случай, когда сеть обучалась  распознаванию изображений танков по фотографиям, однако позднее выяснилось, что все танки были сфотографированы на одном и том же фоне. В результате сеть «научилась» распознавать этот тип ландшафта, вместо того, чтобы  «научиться» распознавать танки^[14]. Таким образом, сеть «понимает» не то, что от неё требовалось, а то, что проще всего обобщить.

Классификация по типу входной информации

• Аналоговые нейронные сети (используют информацию в форме действительных чисел);
• Двоичные нейронные сети (оперируют с информацией, представленной в двоичном виде).

Классификация по характеру обучения

• Обучение с учителем — выходное пространство решений нейронной сети известно;
• Обучение без учителя — нейронная сеть формирует выходное пространство решений только на основе входных воздействий. Такие сети называют самоорганизующимися;
• Обучение с подкреплением — система назначения штрафов и поощрений от среды.

Классификация по характеру настройки синапсов

• Сети с фиксированными связями (весовые коэффициенты нейронной сети выбираются сразу, исходя из условий задачи, при этом: , где W — весовые коэффициенты сети);
• сети с динамическими связями (для них в процессе обучения происходит настройка синаптических связей, то есть  , где W — весовые коэффициенты сети).

Классификация по времени передачи сигнала

В ряде нейронных сетей активирующая функция  может зависеть не только от весовых  коэффициентов связей w_ij, но и от времени передачи импульса (сигнала) по каналам связи τ_ij. Поэтому в общем виде активирующая (передающая) функция связи c_ij от элемента u_i к элементу u_j имеет вид:  . Тогда синхронной сетью называют такую сеть, у которой время передачи τ_ij каждой связи равно либо нулю, либо фиксированной постоянной τ. Асинхронной называют такую сеть у которой время передачи τ_ij для каждой связи между элементами u_i и u_j свое, но тоже постоянное.

КЛАССИФИКАЦИЯ

Классификация по характеру связей

Сети  прямого распространения (Feedforward)

Все связи  направлены строго от входных нейронов к выходным. Примерами таких сетей  являются перцептрон Розенблатта,многослойный перцептрон, сети Ворда.

Рекуррентные  нейронные сети‎

Основная  статья: Рекуррентные нейронные сети‎

Сигнал  с выходных нейронов или нейронов скрытого слоя частично передается обратно  на входы нейронов входного слоя (обратная связь). Рекуррентная сеть Хопфилда «фильтрует» входные данные, возвращаясь к устойчивому состоянию и, таким образом, позволяет решать задачи компрессии данных и построения ассоциативной памяти^[15]. Частным случаем рекуррентных сетей является двунаправленные сети. В таких сетях между слоями существуют связи как в направлении от входного слоя к выходному, так и в обратном. Классическим примером является Нейронная сеть Коско.