Топология такой сети характеризуется тем, что количество нейронов в выходном слое, как правило, равно количеству определяемых классов. При этом устанавливается соответствие между выходом нейронной сети и классом, который он представляет. Когда сети предъявляется некий образ, на одном из её выходов должен появиться признак того, что образ принадлежит этому классу. В то же время на других выходах должен быть признак того, что образ данному классу не принадлежит. Если на двух или более выходах есть признак принадлежности к классу, считается что сеть «не уверена» в своём ответе.

2. Принятие решений и управление

     Эта задача близка к задаче классификации. Классификации подлежат ситуации, характеристики которых поступают на вход нейронной  сети. На выходе сети при этом должен появиться признак решения, которое она приняла. При этом в качестве входных сигналов используются различные критерии описания состояния управляемой системы.

3. Кластеризация

     Под кластеризацией понимается разбиение  множества входных сигналов на классы, притом, что ни количество, ни признаки классов заранее не известны. После обучения такая сеть способна определять, к какому классу относится входной сигнал. Сеть также может сигнализировать о том, что входной сигнал не относится ни к одному из выделенных классов — это является признаком новых, отсутствующих в обучающей выборке, данных. Таким образом, подобная сеть может выявлять новые, неизвестные ранее классы сигналов. Соответствие между классами, выделенными сетью, и классами, существующими в предметной области, устанавливается человеком. Кластеризацию осуществляют, например, нейронные сети Кохонена.

4. Прогнозирование

     Способности нейронной сети к прогнозированию  напрямую следуют из ее способности  к обобщению и выделению скрытых  зависимостей между входными и выходными  данными. После обучения сеть способна предсказать будущее значение некой последовательности на основе нескольких предыдущих значений и/или каких-то существующих в настоящий момент факторов. Следует отметить, что прогнозирование возможно только тогда, когда предыдущие изменения действительно в какой-то степени предопределяют будущие.

5. Аппроксимация

     Нейронные сети — могут аппроксимировать непрерывные  функции. Доказана обобщённая аппроксимационная теорема: с помощью линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с некоторой наперёд заданной точностью. Это означает, что нелинейная характеристика нейрона может быть произвольной. От выбора нелинейной функции может зависеть сложность конкретной сети, но с любой нелинейностью сеть остаётся универсальным аппроксиматором и при правильном выборе структуры может достаточно точно аппроксимировать функционирование любого непрерывного автомата.

     6 Сжатие данных и ассоциативная память

   Способность нейросетей к выявлению взаимосвязей между различными параметрами дает возможность выразить данные большой размерности более компактно, если данные тесно взаимосвязаны друг с другом. Обратный процесс — восстановление исходного набора данных из части информации — называется (авто)ассоциативной памятью. Ассоциативная память позволяет также восстанавливать исходный сигнал/образ из зашумленных/поврежденных входных данных. Решение задачи гетероассоциативной памяти позволяет реализовать память, адресуемую по содержимому. [2]

2.3 Классификация нейросетей

• по типу входной информации:

- Аналоговые  нейронные сети (используют информацию  в форме действительных чисел);

- Двоичные  нейронные сети (оперируют с информацией,  представленной в двоичном виде). 

• по характеру обучения

- Обучение  с учителем — выходное пространство  решений нейронной сети известно;

- Обучение  без учителя — нейронная сеть  формирует выходное пространство  решений только на основе входных  воздействий. Такие сети называют  самоорганизующимися;

- Обучение с подкреплением — система назначения штрафов и поощрений от среды. 

• по характеру  настройки синапсов

- Сети  с фиксированными связями (весовые  коэффициенты нейронной сети  выбираются сразу, исходя из  условий задачи, при этом:

,где W — весовые коэффициенты  сети);

сети  с динамическими связями (для  них в процессе обучения происходит настройка синаптических связей, то есть

, где W — весовые коэффициенты  сети). 

• по времени  передачи сигнала

   В ряде нейронных сетей активирующая функция может зависеть не только от весовых коэффициентов связей wij, но и от времени передачи импульса (сигнала) по каналам связи τij. Поэтому в общем виде активирующая (передающая) функция связи cij от элемента ui к элементу uj имеет вид:

   Тогда синхронной сетью называют такую сеть, у которой время передачи τij каждой связи равно либо нулю, либо фиксированной постоянной τ. Асинхронной называют такую сеть, у которой время передачи τij для каждой связи между элементами ui и uj свое, но тоже постоянное. 

• по характеру связей

- Сети  прямого распространения (Feedforward)

Все связи  направлены строго от входных нейронов к выходным. Примерами таких сетей  являются перцептрон Розенблатта, многослойный перцептрон, сети Ворда.

- Рекуррентные  нейронные сети‎

Сигнал  с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя (обратная связь). Рекуррентная сеть Хопфилда «фильтрует» входные данные, возвращаясь к устойчивому состоянию и, таким образом, позволяет решать задачи компрессии данных и построения ассоциативной памяти. Частным случаем рекуррентных сетей является двунаправленные сети. В таких сетях между слоями существуют связи как в направлении от входного слоя к выходному, так и в обратном. Классическим примером является Нейронная сеть Коско.

- Радиально-базисные функции

Искусственные нейронные сети, использующие в качестве активационных функций радиально-базисные (такие сети сокращённо называются RBF-сетями). Общий вид радиально-базисной функции:

 например,

где x —  вектор входных сигналов нейрона,

σ —  ширина окна функции,

φ(y) —  убывающая функция (чаще всего, равная нулю вне некоторого отрезка).

     Радиально-базисная сеть характеризуется тремя особенностями:

1. Единственный  скрытый слой

2. Только  нейроны скрытого слоя имеют нелинейную активационную функцию

3. Синаптические  веса связей входного и скрытого  слоев равны единице. 

• Самоорганизующиеся  карты

   Такие сети представляют собой соревновательную нейронную сеть с обучением без  учителя, выполняющую задачу визуализации и кластеризации. Является методом проецирования многомерного пространства в пространство с более низкой размерностью (чаще всего, двумерное), применяется также для решения задач моделирования, прогнозирования и др. Является одной из версий нейронных сетей Кохонена. Самоорганизующиеся карты Кохонена служат, в первую очередь, для визуализации и первоначального («разведывательного») анализа данных.

• Известные типы сетей

- Персептрон Розенблатта;

- Многослойный перцептрон;

- Сеть Джордана;

- Сеть Элмана;

- Сеть Хэмминга;

- Сеть Ворда;

- Сеть Хопфилда;

- Сеть Кохонена;

- Нейронный газ;

- Когнитрон;

- Неокогнитрон;

- Хаотическая нейронная сеть;

- Осцилляторная нейронная сеть;

- Сеть встречного распространения;

- Сеть радиальных базисных функций (RBF-сеть);

- Сеть обобщенной регрессии;

- Вероятностная сеть;

- Сиамская нейронная сеть;

- Сети адаптивного резонанса.

- Свёрточная нейронная сеть (convolutional neural network). [4] 

     3 Применение нейросети  в задачах прогнозирования

     3.1 Нейросети и инвестиционная деятельность

 

     Нейронные сети привлекательны с интуитивной  точки зрения, ибо они основаны на примитивной биологической модели нервных систем. В будущем развитие таких нейробиологических моделей может привести к созданию действительно мыслящих компьютеров.

     Предсказание  финансовых временных рядов - необходимый  элемент любой инвестиционной деятельности. Сама идея инвестиций - вложения денег сейчас с целью получения дохода в будущем - основывается на идее прогнозирования будущего. Соответственно, предсказание финансовых временных рядов лежит в основе деятельности всей индустрии инвестиций - всех бирж и небиржевых систем торговли ценными бумагами.

     Известно, что 99% всех сделок - спекулятивные, т.е. направлены не на обслуживание реального  товарооборота, а заключены с целью извлечения прибыли. Все они основаны на предсказаниях изменения курса участниками сделки. Причем предсказания участников каждой сделки противоположны друг другу. Так что объем спекулятивных операций характеризует степень различий в предсказаниях участников рынка, т.е. степень непредсказуемости финансовых временных рядов.

      Нейросетевое  моделирование в чистом виде базируется лишь на данных, не привлекая никаких  априорных соображений. В этом заключается его преимущество и одновременно – его недостаток. Имеющихся данных может не хватить для обучения, размерность потенциальных входов может оказаться слишком велика.

     Поэтому для хорошего прогноза нужно пользоваться, во-первых, очень качественно подготовленными данными, а во-вторых, нейропакетами с большой функциональностью.[1]

     3.2 Применение нейронных сетей в задачах прогнозирования

 

     Задачи  прогнозирования особенно важны  для практики, в частности, для  финансовых приложений, поэтому следует рассмотреть способы применения нейронных сетей в этой области более подробно.

     Рассмотрим  практическую задачу, ответ в которой  неочевиден - задачу прогнозирования  курса драгоценных металлов на 1 день вперед.

     Пусть имеется база данных, содержащая значения курса за последние 628 дней. Необходимо построить прогноз завтрашней цены на основе курсов за последние несколько дней. Прогнозирующая нейронная сеть должна иметь всего один выход и столько входов, сколько предыдущих значений будет использоваться для прогноза.

     Возникает вопрос, прогнозировать абсолютные или относительные значения? В качестве входов и выходов нейросети не следует выбирать сами значения котировок. Действительно значимыми для предсказаний являются изменения котировок. Поскольку эти изменения, как правило, гораздо меньше по амплитуде, чем сами котировки, между последовательными значениями курсов имеется большая корреляция – наиболее вероятное значение курса в следующий момент равно его предыдущему значению. Между тем, для повышения качества обучения следует стремиться к статистической независимости входов, т.е. к отсутствию подобных корреляций.

     Поэтому в качестве входных переменных следует  выбирать наиболее статистически независимые  величины, например, изменения котировок  или логарифм относительного приращения. Последний выбор хорош для  длительных временных рядов, когда уже заметно влияние инфляции. В этом случае простые разности в разных частях будут иметь различную амплитуду, т.к. фактически измеряются в различных единицах. Напротив, отношения последовательных котировок не зависят от единиц измерения и будут одного масштаба несмотря на инфляционное изменение единиц измерения. В итоге, большая стационарность ряда позволит использовать большую историю и обеспечит лучшее обучение. [1]