Нейросетевая реализация системы автономного адаптивного управления

     Например, на рис.1.2.1 представлена формальная модель перспептрона, где все блоки имеют один шаблон МакКаллока-Питтса [Маккалок].

     Вообще  говоря, состояние обученности нейрона для каждой формальной модели определяется по своему и, неформально выражаясь, это состояние, в котором считается, что нейрон уже «обучен» для решения своей задачи классификации. Отметим, что процесс обучения необратим. 

Определение 1.2.9. Будем говорить, что сетью распознан образ i, если после предъявления сети некоторого входного сигнала на выходе i-ого нейрона появляется 1. 

     Распознавание образа есть по сути положительный ответ в решении задачи классификации для данного нейрона.

      Рис.1.2.1. 

1.3. Краткое описание метода автономного адаптивного управления.

 

      Метод ААУ подробно описан в работах [Жданов3-9], поэтому представим только основные его стороны. Будем называть управляющей системой (УС) систему управления, имитирующую нервную систему в соответствии с методологией ААУ. Под объектом управления (ОУ) будем понимать организм, который несет в себе нервную систему, другими словами, ОУ - это объект, который должен управляться посредством УС, расположенной внутри ОУ и взаимодействующей со своим окружением посредством блока датчиков (БД) и исполнительных органов (ИО). 

Рис. 1.3.1. 

      На  рис. 1.3.1 представлена система, под которой будем понимать среду, в которую вложен ОУ, в свою очередь содержащий в себе УС. Как видно из рисунка, можно утверждать, что УС управляет не только ОУ, но всей системой. Под средой в системе можно понимать разные объединения объектов. Будем называть средой W совокупность объектов, лежащих вне УС; средой S - совокупность объектов, лежащих вне ОУ; средой U  - всю систему.

      Блок  датчиков поставляет УС входную информацию в виде двоичного вектора. Этот блок необходим в реальных системах для сопряжения среды и УС, поэтому при моделировании УС на ЭВМ не использовался и мы не акцентируем внимание на нем в данной работе.

      Работу  блока формирования и распознавания образов (ФРО) можно представить следующим способом (подробное описание см. в работах [Жданов3, Жданов8]). В блоке ФРО на основании априорной информации о возможных функциональных свойствах среды заданы некоторые объекты, назовем их нейронами (например, нейроны специального вида, описанные в работе [Жданов8]), на которые отображаются некоторые классы пространственно-временных явлений, которые потенциально могут существовать в системе. Отображение задается топологией сети.  В классе, отображаемом на нейрон, выделяется подкласс, который может восприниматься данным нейроном. Каждый нейрон может статистически анализировать воспринимаемый им подкласс. Накапливая статистическую информацию о воспринимаемом подклассе, нейрон может принять решение, является ли этот подкласс случайным или неслучайным явлением в системе. Если какой-либо нейрон принимает решение, что отображаемый на него подкласс является неслучайным событием, то он переходит в некоторое отличное от исходного ²обученное² состояние. Если нейрон обучен, то будем говорить также, что сформирован образ, этот образ идентифицируется номером данного нейрона. Подкласс явлений, воспринимаемый нейроном, и вызвавший его обучение, то есть пространственно-временные явления, статистически достоверно существующие в системе, называется прообразом данного образа. Сформированный образ может быть распознан блоком ФРО, когда прообраз данного образа наблюдается БД. Блок ФРО указывает, какие из сформированных образов распознаны в текущий момент. Одновременно с этим распознанные образы участвуют в формировании образов более высоких порядков, то есть имеет место агрегирование и абстрагирование образов.  

      Блок  формирование базы знаний [Жданов4-6] (БЗ) предназначен для автоматического представления эмпирически найденных УС знаний о функциональных свойствах системы. Элементарной конструкцией базы знаний (БЗ) в методе ААУ является статистически достоверное сведение о том, как определенное действие Y_j влияет на прообраз определенного сформированного образа. Действием Y_j названо подмножество множества допустимых воздействий, элементы которого абсолютно идентичны для УС по их влиянию на сформированные образы.  Непустое сведение может иметь одно из двух значений: либо действие Y_j влечет распознавание образа O_i , либо действие Y_j  влечет вытеснение образа O_i. При помощи БЗ можно видеть, как конкретное действие влияет на всю совокупность сформированных образов.

      Блок  оценки состояния [Жданов7] (БОС) вырабатывает интегральную оценку качества состояния ОУ S_t. Оценка S_t используется для расчета оценки (веса) p_i каждого из вновь сформированных образов некоторым статистическим способом. В свою очередь, S_t функционально зависит от оценок p_i распознанных образов. Имеется некоторое множество изначально сформированных и оцененных образов. Оценка S_t используется также для расчета темпа принятия решений.

      Блок  выбор действия [Жданов4-6] или, в дальнейшем, блок принятия решений (БПР) реализует процедуру принятия решения, основанную на анализе текущей ситуации, целевых функций, содержимого БЗ, а также оценки текущего значения оценки S_t. Фактическая информация о текущей ситуации представлена множеством образов, распознанных в текущий момент блоком ФРО, а информация о качестве текущего состояния представлена оценкой S_t. Множество распознанных образов определяет в БЗ тот ее раздел, который адекватен текущей ситуации (те знания, которые истинны в текущих условиях). В соответствии с целевой функцией, предполагающей стремление УС к улучшению качества состояния ОУ,  УС выбирает по БЗ то действие, которое имеет максимальную сумму оценок вызываемых и вытесняемых образов. Из множества выходных воздействий, соответствующего выбранному действию Y_j, конкретное выходное воздействие выбирается случайным способом, что соответствует второй целевой функции, предусматривающей стремление к получению новых знаний.

      Блок  определение времени принятия решения определяет глубину просмотра БЗ в зависимости от текущей оценки S_t. Чем выше значение S_t, тем больше образов (в порядке убывания модуля их веса) может учесть УС при принятии решения, тем меньше темп принятия решений. При моделировании этот блок не использовался и в данной работе рассматриваться не будет.

      В УС могут быть средства для априорного анализа последствий альтернативных выбираемых действий на несколько шагов вперед.

      Таков в самых общих чертах алгоритм управления, реализуемый УС в методе ААУ. Основные свойства процесса управления состоят в том, что УС автоматически накапливает эмпирические знания о свойствах предъявленного ей объекта управления и принимает решения, опираясь на накопленные знания. Качество управления растет по мере увеличения объема накопленных знаний. Заметим также, что управление состоит не в том, что УС реагирует на входную информацию (в определенном смысле - отрицательная обратная связь), а в том, что УС постоянно активно ищет возможный в текущих условиях способ улучшить состояние ОУ (положительная обратная связь). Тем самым УС ААУ обладает внутренней активностью.

      При создании приложений может быть целесообразным использование УС ААУ для управления только в тех областях пространства признаков, в которых ранее используемые методы неэффективны. Другими словами, полезно разделить признаковое пространство на две области: на область, для которой имеется априорная информация о свойствах ОУ, и в которой можно применить подходящую детерминированную систему управления, и на область, в которой нет априорной информации о свойствах ОУ, где требуется адаптация в реальном времени управления, в этой области целесообразно управление по методу ААУ.

1.4. Основные понятия  и обозначения.

 

      Каждый  вход и выход блока среды  U представляется в математической модели, вообще говоря, случайным вектором, а совокупность случайных векторов, параметризованных временем , образуют процесс. Кроме того, выделим вторую категорию процессов, в которую входят процессы, сформированные параметризованными СВ - выходами внутренних элементов блоков УС. Например, для ФРО и, вообще, всех блоков, состоящих из нейронов, это выходы всех нейронов. В полной математической модели среды U, процесс, представляющий выходы всех нейронов УС и выходы внутренних блоков среды W , назовем процессом среды U.

     В дальнейшем мы будем пользоваться следующими обозначениями:

T – конечный временной интервал жизни системы;

- параметр времени;

- начальный момент времени  работы УС;

 – входной процесс, входной процесс для ФРО, а значит и для УС;

 – i – ая компонента ;

- реализация входного процесса, или входной фильм, определенный на интервале времени ;

 – i – ая компонента ;

 – процесс среды, выход блока среды W;

 – i – ая компонента ;

 – процесс ФРО, совокупность выходов всех нейронов блока ФРО на интервале ;

 – i - ая компонента ;

 – процесс управляющих воздействий на среду со стороны УС, где

Y  – множество допустимых воздействий на среду со стороны УС;

F – множество образов аппарата ФРО. 

1.5. Алгебра образов.

 

     В качестве алгебраических операций над  образами мы будем использовать операции трехзначной логики, которая является расширением обычной логики с  двумя значениями: истина и ложь, обозначаемые далее как 1 и 0 соответственно, и имеет третье значение: неопределенность или . Здесь приведены таблицы для операций трехзначной логики. Первый столбец содержит значения первого аргумента, первая строка – второго. 

Таблица 1.5.1

 

Таблица 1.5.2

 

Таблица 1.5.3

 

Отрицание для неопределенности дает неопределенность, для остальных значений – то же самое, что и в двузначной логике. Для удобства мы полагаем, что результат операции в момент есть неопределенность по определению. 
2. Моделирование среды. 
 

     Для экспериментальной проверки метода автономного адаптивного управления необходимо создать математическую модель среды, достаточную для имитации реакции и поведения реальной среды на некотором уровне, приемлемом для данной управляющей системы. Но проверка является не единственной задачей, решаемой с помощью модели среды. Во-первых, если на начальном этапе в базе знаний УС нет знаний, ее необходимо наполнить начальными данными. Возможны случаи, когда получение исходных знаний невозможно во время реальной работы УС, поскольку оно происходит методом проб и ошибок и существует реальная угроза гибели всей системы. Поэтому начальное обучение в таких случаях необходимо проводить «на стенде», т.е. с моделью среды. Естественно, чем ближе модель к свойствам реальной среды, тем лучше обучится УС и тем выше вероятность выживания системы. Моделировать среду можно множеством способов. Например, сделать макет объекта управления, поместить его в условия, близкие к тем, где он предназначен работать и дать ему возможность обучаться, пока у экспериментаторов не будет уверенности в живучести аппарата и в способности к адаптации в том диапазоне внешних условий, где он предназначен работать. Но на пути создания реальной действующей системы возможно несколько промежуточных этапов. Представим, что система создается «с нуля» и известна только некоторая априорная информация о среде и, возможно, какие-то представления о законах управления. Создавать сразу действующий макет дорого, поскольку на данном этапе даже не известно, какие образы УС должна уметь распознавать, и, возможно, придется делать несколько эспериментальных прототипов. Для исследования данного вопроса предлагается смоделировать среду, например, с помощью ЭВМ.