Мультиагентные системы

Агент, который  отображает текущее восприятие o_t  в новое действие a_t, называется рефлексивным, а его стратегию называютреактивной или стратегией без памяти.

Возникает естественный вопрос: насколько хорошим может  быть такой рефлексивный агент? Как  мы увидим дальше, он может быть довольно неплохим.

Окружение и свойство Маркова

Из сказанного выше следует, что понятия окружения и агента являются спаренными, так что одно понятие не может быть определено без другого. Фактически, различие между агентом и его окружением не всегда отчетливо, и это иногда осложняет проведению четкой границы между ними. Для простоты предположим, что существует мир, в котором есть один или более агентов, в котором они воспринимают, думают и действуют.

Коллективная  информация, которая содержится в окружающем мире в момент времени t  и которая важна для исполняемой задачи, называется состоянием мира и обозначается s_t. Множество состояний мира обозначим через S.

В зависимости от природы задачи, мир может быть дискретным или непрерывным. Дискретный мир характеризуется конечным числом состояний. Примером может служить игра в шахматы. С другой стороны примером непрерывного мира может служить мобильный робот, который может свободно передвигаться в декартовой системе координат. Большинство из существующих технологий искусственного интеллекта созданы для дискретного мира, поэтому мы будем в дальнейшем рассматривать именно его.

Наблюдаемость

Важное свойство, характеризующее мир с точки зрения агента, связано с восприятием. Мы будем говорить, что мир полностью наблюдаем, если текущее восприятие агента o_t полностью описывает состояние мира s_t. В противоположность этому, в частично наблюдаемом мире текущее восприятие o_t  описывает лишь часть информации о состоянии мира, задающую вероятностное распределение P(s_t | o_t)  между действительными состояниями мира. Таким образом, s_t  можно рассматривать как случайную величину, распределенную на S. Частичная наблюдаемость может быть вызвана двумя фактами. Первый из них — это помехи в сенсорной информации агента. Например, вследствие несовершенства сенсоров, в разные моменты времени агент может воспринимать одно и то же состояние мира по-разному. Возможно также, что для агента некоторые состояния неразличимы.

Свойство  Маркова

Рассмотрим снова  рефлексивного агента с реактивной тактикой π(o_t) = a_t в полностью обозреваемом мире. Предположение обозреваемости подразумевает, что s_t  = o_t, и, таким образом, тактика агента π(s_t) = a_t. Другими словами, в обозреваемом мире тактика рефлексивного агента является отображением из состояний мира в действия. Выгода состоит в том, что во многих задачах состояние мира в момент времени t дает полное описание истории до момента времени t.

Про такое состояние  мира, которое содержит всю важную информацию о прошлом в конкретной задаче, говорят, что оно является марковским или обладает свойством Маркова.

Из выше сказанного мы можем сделать вывод, что в марковском мире агент может безопасно использовать стратегию без памяти для принятия решения вместо теоретически оптимальной стратегии, которая может требовать много памяти.

До сих пор мы рассматривали, как стратегия агента может зависеть от последнего события и отдельных характеристик окружения. Однако, как мы обсуждали вначале, принятие оптимального решения может также зависеть от оценки будущего.

Стохастические  переходы

В каждый момент времени t  агент выбирает действие a_t  из конечного множества действий A. После выбора агентом действия мир меняется как его следствие. Модель перехода (иногда называют моделью мира) определят, как меняется мир после совершения действия. Если текущее состояние мира s_t  и агент совершает действие a_t, мы можем выделить два случая.

1. В детерминистическом мире модель перехода отображает единственным образом пару «состояние–действие» (s_t, a_t) в новое состояние s_t + 1. В шахматах, например, каждый ход изменяет игровую позицию.
2. В стохастическом мире модель перехода отображает пару «состояние–действие» в распределение вероятности P(s_{t + 1}  | s_t, a_t)  состояний. Как и в рассмотренном выше случае с частичной обозреваемостью, s_{t + 1}  — это случайная величина, которая может принимать все возможные значения в множестве S  с соответствующей вероятностью P(s_{t + 1}  | s_t, a_t). Самые практические приложения включают стохастические модели перехода, например, движение робота неточно из-за того, что его колеса скользят.

Как мы могли заметить, иногда частичная обозреваемость является следствием неточности восприятия агентом его окружения. Здесь мы видим другой пример, где важна неточность, а именно, мир меняется, когда совершается действие. В стохастическом мире эффект действия агента не известен заранее. Вместо этого есть случайный элемент, который определяет, как меняется мир вследствие действия. Ясно, что стохастичность при переходе из одного состояния в другое вносит дополнительные сложности в задаче принятия оптимального решения агентом.

Для классического  искусственного интеллекта целью отдельной  задачи является желаемое состояние  мира. Таким образом,планирование определяется как поиск оптимальной стратегии. Когда мир детерминистический, планирование переходит в поиск по графу для каждого варианта существующего метода. В стохастическом же мире может не перейти в простой поиск по графу, так как переход из состояния в состояние не является детерминистическим. Теперь агент при планировании может принимать в расчет неточности переходов. Чтобы понять, как это может быть использовано, заметим, что в детерминистическом мире агент предпочитает по умолчанию конечное состояние неконечному. В общем случае, агент сохраняет настройки при переходе из состояния в состояние. Например, робот, играющий в футбол, будет стараться забить очко, стараться меньше стоять с мячом перед пустыми воротами и т.п.  Чтобы формализовать это понятие, свяжем с каждым состоянием s  вещественное числоU(s), называемое полезностью состояния этого агента. Формально, для двух состояний s  и s*  выполняется U(s) > U(s*) тогда и только тогда, когда агент предпочитает состояние s  состоянию s*, а U(s)  = U(s*), если для агента эти состояния неразличимы. Интуитивно понятно, что чем выше полезность, тем выгоднее состояние, в котором находится агент. Заметим, что в мультиагентных системах желаемое состояние для одного из агентов может не быть желаемым для остальных. Например, в футболе забивание гола является нежелательным для противоположной команды.

Принятие  решения в стохастическом мире

Теперь возникает  вопрос, как агент может эффективно использовать функции полезности для  принятия решения. Предположим, что  у нас мир стохастический с моделью перехода P(s_{t + 1}  | s_t, a_t), находящийся в состоянии s_t  до тех пор, пока агент обдумывает, какое действие ему совершить. Пусть U(s)  — функция полезности состояния какого-то агента. Предположим, что у нас только один агент. Тогда принятие решения основано на предположении, что оптимальное действие агента должно быть максимумом полезности, т.е.

a*_t = max∑P(s_{t + 1} | s_t, a_t)·U(s_{t + 1}),

где суммирование выполняется по всевозможным состояниям s_{t + 1}. Чтобы увидеть, насколько полезно действие, агент должен умножить полезность каждого возможного конечного состояния на вероятность попадания в это состояние, и потом просуммировать полученный результат. Тогда агент может выбрать действие a*_t  с максимальной суммой. Если каждое состояние мира имеет величину полезности, агент может произвести вычисления и выбрать оптимальное действие для каждого возможного состояния. Тогда агент со стратегией может оптимально переводить состояние в действие. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

3. Структура мультиагентной системы принятий решений для оценки деятельности предприятия

Интеллектуальные  мультиагентные системы принятия решений предназначены для оценки качества организационно-технических и экономических решений в процессе деятельности предприятия. Для работы в быстроизменяющихся условиях предприятиям необходимо постоянно трансформировать свои производственные структуры и структуры бизнес-процессов. При этом становиться неизбежным привлечение сторонних специалистов из  различных областей. Оценка предлагаемых решений является сложным и постоянным видом деятельности, требующим участия высококвалифицированных экспертов, которые, как правило, территориально удалены друг от друга. Этим обусловлена актуальность распределенной компьютерной поддержки процессов принятия решений, которая может быть реализована с применением мультиагентных систем.

Общая схема  принятия решений включает следующие  этапы:

1)    спецификация требований;

2)    генерация решений;

3)    оценка альтернатив;

4)    выбор эффективного решения.

Оценку решений  проводит рабочая группа, состоящая  из руководителя, аналитика и экспертов.

Руководитель  формирует набор показателей, которые  будут использоваться для оценки проектов; подбирает состав группы экспертов; составляет персональный график выполнения задач экспертами. Каждый эксперт работает по индивидуальному  сценарию. Аналитик высказывает свое мнение о результатах проведенной  экспертами работы.

Для поддержки  группового процесса принятия решений  используется программная реализация метода анализа иерархий:

• формирование и согласование иерархической структуры показателей;
• оценка и согласование качественных показателей проекта;
• оценка и согласование важности показателей;
• ранжирование альтернативных решений и согласование результатов.

На каждом этапе  предусмотрены процедуры согласования экспертных мнений.

Ядром мультиагентной системы является менеджер знаний,  использующий три внешних компонента:

• информационную модель проблемной области в виде упорядоченного набора показателей качества решений;
• средства технической и программной поддержки;
• множество типов пользователей (руководитель, координатор, эксперт, аналитик).

Для координации  работы коллектива экспертов используется двухуровневый механизм согласования. Каждый из экспертов представлен  агентом, в задачу которого входит оценка предлагаемых руководителем альтернатив  по заданному набору показателей  качества. С помощью редактора  знаний руководитель формирует задания  экспертам и проводит анализ полученной от них информации. Задача координации  поведения агентов возложена  на агента-координатора. Результатом  работы системы являются согласованные  экспертные оценки, на основании которых  производится многокритериальное ранжирование альтернатив.

Основные функции  агентов в системе:

Агент-руководитель:

• предоставляет набор процедур для облегчения работы руководителя в распределенной системе;
• вычисляет конечный результат на основании данных, полученных от других агентов;
• отслеживает согласованность решения, вырабатываемого группой;
• предоставляет средства визуализации результатов работы;
• подготавливает сообщения агенту-координатору;
• выполняет почтовые функции в распределенной среде.

Агент-координатор:

• обеспечивает выполнение пошагового алгоритма принятия решения;
• поддерживает целостность баз данных системы на групповом уровне и вносит в них необходимые изменения;
• подготавливает диалоговые формы для информационного обмена через Интернет.