Искусственные нейронные сети

1.Введение.

 Информатика стремительно  меняет свое лицо - только успевай  приспосабливаться. Развивается все: и возможности компьютеров растут, и новые программные продукты  открывают целый мир ранее  недоступных интеллектуальных услуг, и меняются стили программирования - объектный подход, визуальное программирование  и прочая, и прочая, и прочая... 
Не́йроинформа́тика — область научных исследований, лежащая на пересечении нейронаук и информатики. В сферу нейроинформатики входит сбор результатов, полученных в ходе нейробиологических исследований, перевод этих результатов в формат баз данных для их последующего анализа с помощью вычислительных моделей и специализированных компьютерных аналитических программных инструментов, обеспечение совместимости между базами данных, форматами моделей и другими коллекциями данных для облегчения обмена информацией о различных аспектах функционирования и строения нервных систем. Если говорить проще, то нейроинформатика является разделом искусственного интеллекта, объединяющим нейросетевые и нейрокомпьютерные технологии.

В предшествующее десятилетие развитие средств вычислительной техники во всем мире испытало сильное влияние со стороны инициированной Японией программы "Пятое поколение компьютеров". Основным лозунгом этой программы было развитие систем искусственного интеллекта на основе алгоритмических языков. В 1992 г. программа "Пятое поколение" была завершена и ей на смену пришла программа "Вычисления в Реальном мире". 
 
   В ней речь идет прежде всего о том, чтобы дать вычислительным и управляющим системам возможность самостоятельно, без помощи "переводчика"-человека воспринимать воздействия внешнего мира и действовать в нем. Авторы программы огромную роль - до 30-40% ее содержания отводят исследованию естественных и созданию искусственных нейросетевых систем. 
 
    Искусственные нейронные сети, они же коннекционистские или связевые системы представляют собой устройства, использующие огромное число элементарных условных рефлексов, называемых по имени недавно умершего канадского физиолога синапсами Хебба. Такой синапс, как основу возможных механизмов памяти и поведения, Д.Хебб описал теоретически в 1949 году, т.е. в первые годы после рождения кибернетики. Уже сейчас искусственные нейронные сети применяются для решения очень многих задач обработки изображений, управления роботами и непрерывными производствами, для понимания и синтеза речи, для диагностики заболеваний людей и технических неполадок в машинах и приборах, для предсказания курсов валют и результатов скачек. Та часть работ, которая связана с разработкой устройств переработки информации на основе принципов работы естественных нейронных систем относится к области нейроинформатики или нейровычислений (нейрокомпьютинга). Термины эти появились недавно - в середине 80-х годов.

§1.Нейронные сети.

§1.1.Возможности нейронных сетей

Для описания алгоритмов и устройств в нейроинформатике выработана специальная «схемотехника», в которой элементарные устройства — сумматоры, синапсы, нейроны и т.п. объединяются в сети, предназначенные для решения задач. Стандартный формальный нейрон составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе. Дано описание основных элементов, из которых составляются нейронные сети. Рассматриваются только нейронные сети, синхронно функционирующие в дискретные моменты времени. Описаны основные архитектуры нейронных сетей. Нейронные сети вычисляют линейные функции, нелинейные функции одного переменного, а также всевозможные суперпозиции — функции от функций, получаемые при каскадном соединении сетей. Что можно получить, используя только такие операции? Какие функции удастся вычислить точно, а какие функции можно сколь угодно точно аппроксимировать с помощью нейронных сетей? Даются ответы на эти вопросы, в частности, приведено доказательство теоремы Колмогорова о представлении непрерывных функций многих переменных суперпозициями функций одного переменного и линейных функций, доказана (впервые публикуется на русском языке) обобщенная аппроксимационная теорема Стоуна для произвольных алгебр функций. Впервые в монографической литературе приводятся результаты о плотности полугрупп непрерывных функций. Подробно обсуждается вопрос о универсальных аппроксимационных способностях нейронных сетей.

§1.2.Решение задач нейронными сетями

Несколько базовых задач для нейронных сетей и основных или исторически первых методов настройки сетей для их решения:

1. Классификация (с учителем) (персептрон Розенблатта).

2. Ассоциативная память (сети Хопфилда).

3. Решение систем линейных уравнений (сети Хопфилда и их обобщения).

4. Восстановление пробелов в данных (сети Хопфилда и их обобщения).

5. Кластер-анализ и классификация (без учителя) (сети Кохонена).

Одноэлементные системы и их приложения:

1. Линейная регрессия и восстановление простейших закономерностей;

2. Линейная фильтрация и адаптивная обработка сигналов;

3. Линейное разделение классов и простейшие задачи распознавания образов.

§1.3. Нейросетевые информационные модели сложных инженерных систем

 Также в нейроинформатике обсуждаются нейросетевые методы построения моделей сложных систем, основанные на экспериментальных данных. Подробно рассмотрены постановки типовых задач информационного моделирования (прямых, обратных и смешанных). Изложение сопровождается модельными иллюстрациями и примерами реальных практических применений. Внутренние регуляризирующие особенности нейронных сетей позволяют решать также обратные и комбинированные задачи с локальной оценкой точности. Для некорректно поставленных задач моделирования предложена нейросетевая информационная технология построения гибридной нейроархитектуры, содержащей кластеризующую карту Кохонена и семейство сетей с обратным распространением, обучаемых на данных индивидуальных кластеров. В этой технологии выявляются области частичной корректности задачи, в которых дается решение с высокой локальной точностью. Для остальных областей признакового пространства нейросеть автоматически корректно отвергает пользовательские запросы. В главе рассмотрены примеры применения методики решения обратных задач к моделированию отклика сложной инженерной системы — промышленного контейнера с ядерными отходами — на внешние аномальные условия (тепловая нагрузка вследствие пожара). Результаты исследований могут быть использованы для технических рекомендаций.

§1.4Погрешности в нейронных сетях

Рассматриваются нейронные сети слоистой структуры, состоящие из слоев стандартных нейронов. Изучаются ошибки, возникающие при технической реализации сетей, а также при шумах и повреждениях. Определены максимально допустимые погрешности, возможные для сигналов и параметров каждого элемента сети, исходя из условия, что вектор выходных сигналов сети должен вычисляться с заданной точностью. Используются два типа оценок погрешности: гарантированные интервальные оценки и среднеквадратические оценки погрешностей. Показано, что оценки допустимых погрешностей можно получить в ходе специального процесса «обратного распространения точности». Он состоит в функционировании сети с той же системой связей, но от выходов к входам и с заменой элементов на двойственные. Эта двойственность принципиально отличается от той, которая используется в классическом методе вычисления градиентов оценки с помощью обратного распространения ошибок (back propagation of errors). С помощью полученных результатов объясняется наблюдаемая высокая устойчивость нейронных сетей к шумам и разрушениям.

Решается классическая проблема восстановления недостающих данных в следующей постановке: найти для каждого объекта наилучшую формулу, выражающую его признаки через признаки других объектов (которых должно быть по возможности меньше). Эта формула должна быть инвариантна относительно смены шкал измерения. Инвариантность достигается тем, что решение представляется в виде суперпозиции однородных дробно — линейных функций. Строится отношение «объект — опорная группа объектов». Опорная группа выделена тем, что по признакам ее элементов наилучшим образом восстанавливаются признаки исходного объекта. Решение дается с помощью нейронной сети специальной архитектуры. Предлагается способ минимизации опорной группы, использующий преимущества нейросетевого подхода. Метод транспонированной регрессии применяется к задаче интерполяции свойств химических элементов. Исследуется точность интерполяции потенциалов ионизации химических элементов при помощи транспонированной линейной регрессии. Достигнутая точность позволяет предсказать отсутствующие в справочной литературе значения высших (с 5-го по 10-й) потенциалов ионизации для элементов с атомными номерами от 59-го до 77-го и рекомендовать метод для интерполяции иных физических и химических свойств элементов и соединений.

§1.5. Погрешности в нейронных сетях и транспонированная регрессия

Рассматриваются нейронные сети слоистой структуры, состоящие из слоев стандартных нейронов. Изучаются ошибки, возникающие при технической реализации сетей, а также при шумах и повреждениях. Определены максимально допустимые погрешности, возможные для сигналов и параметров каждого элемента сети, исходя из условия, что вектор выходных сигналов сети должен вычисляться с заданной точностью. Используются два типа оценок погрешности: гарантированные интервальные оценки и среднеквадратические оценки погрешностей. Показано, что оценки допустимых погрешностей можно получить в ходе специального процесса «обратного распространения точности». Он состоит в функционировании сети с той же системой связей, но от выходов к входам и с заменой элементов на двойственные. Эта двойственность принципиально отличается от той, которая используется в классическом методе вычисления градиентов оценки с помощью обратного распространения ошибок (back propagation of errors). С помощью полученных результатов объясняется наблюдаемая высокая устойчивость нейронных сетей к шумам и разрушениям.

Решается классическая проблема восстановления недостающих данных в следующей постановке: найти для каждого объекта наилучшую формулу, выражающую его признаки через признаки других объектов (которых должно быть по возможности меньше). Эта формула должна быть инвариантна относительно смены шкал измерения. Инвариантность достигается тем, что решение представляется в виде суперпозиции однородных дробно — линейных функций. Строится отношение «объект — опорная группа объектов». Опорная группа выделена тем, что по признакам ее элементов наилучшим образом восстанавливаются признаки исходного объекта. Решение дается с помощью нейронной сети специальной архитектуры. Предлагается способ минимизации опорной группы, использующий преимущества нейросетевого подхода. Метод транспонированной регрессии применяется к задаче интерполяции свойств химических элементов. Исследуется точность интерполяции потенциалов ионизации химических элементов при помощи транспонированной линейной регрессии. Достигнутая точность позволяет предсказать отсутствующие в справочной литературе значения высших (с 5-го по 10-й) потенциалов ионизации для элементов с атомными номерами от 59-го до 77-го и рекомендовать метод для интерполяции иных физических и химических свойств элементов и соединений.

§1.6.   Нейронные сети ассоциативной памяти

Рассматриваются нейронные сети ассоциативной памяти, восстанавливающие по искаженному и/или зашумленному образу ближайший к нему эталонный. Исследована информационная емкость сетей и предложено несколько путей ее повышения, в том числе — ортогональные тензорные (многочастичные) сети. Построены способы предобработки, позволяющие конструировать нейронные сети ассоциативной памяти для обработки образов, инвариантной относительно групп преобразований. Описан численный эксперимент по использованию нейронных сетей для декодирования различных кодов.

Производство явных знаний из накопленных данных — проблема, которая намного старше чем компьютеры. Обучаемые нейронные сети могут производить из данных скрытые знания: создается навык предсказания, классификации, распознавания образов и т.п., но его логическая структура обычно остается скрытой от пользователя. Проблема проявления (контрастирования) этой скрытой логической структуры решается в работе путем приведения нейронных сетей к специальному «логически прозрачному» разреженному виду. Исследуются два вопроса, встающие перед каждым исследователем, решившим использовать нейронные сети: «Сколько нейронов необходимо для решения задачи?» и «Какова должна быть структура нейронной сети?» Объединяя эти два вопроса, мы получаем третий: «Как сделать работу нейронной сети понятной для пользователя (логически прозрачной) и какие выгоды может принести такое понимание?» Описаны способы получения логически прозрачных нейронных сетей и алгоритмы получения явных знаний из данных. Приведен пример из области социально-политических предсказаний. Для определенности рассматриваются только нейронные сети, обучение которых есть минимизация оценок (ошибок) с использованием градиента. Градиент оценки вычисляется методом двойственности (его частный случай — метод обратного распространения ошибки).

§2. Медицинская нейроинформатика

В медицинской нейроинформатике анализ применения персональных ЭВМ в медицинских учреждениях показывает, что наибольшее использование компьютеров идет для обработки текстовой документации, хранения и обработки баз данных, ведения статистики и финансовых расчетов. Отдельный парк ЭВМ используется совместно с различными диагностическими и лечебными приборами. Многолетние исследования, проводимые с самыми различными явными алгоритмами, показали, что медицинские задачи, имеющие неявный характер, решаются явными методами с точностью и удобством, совершенно недостаточными для широкого практического использования в конкретных задачах диагностики, прогнозирования и принятия решений. Неявные задачи медицины и биологии явились идеальным полем для применения нейросетевых технологий, и именно в этой области наблюдается наиболее яркий практический успех нейроинформационных методов. В главе дан обзор более 20 нейроэкспертных систем для диагностики заболеваний, предсказания из исходов, оптимизации лечения. Подробно описаны следующие системы:

1. Прогнозирование осложнений инфаркта миокарда.
2. Система назначения оптимальной стратегии лечения больных облитерирующим тромбангиитом и прогнозирования его непосредственных исходов.
3. Система дифференциальной диагностики «острого живота».
4. Нейросети для изучения иммунореактивности.