Автор работы: Пользователь скрыл имя, 13 Января 2012 в 23:19, лекция
В задачах вероятностного динамического программирования (ВДП) состояния и значения выигрышей при переходах системы из одного состояния в другое являются случайными. Модели ВДП составляют основу теории марковских процессов принятия решений.
Эволюция многих экономических и технических систем описывается с помощью марковских случайных процессов.
Матрицы вероятностей и доходов для стратегий от 3 до 8 получаются из аналогичных матриц для стратегий 1 и 2. Получим:
Результаты
вычислений
приведены в следующей таблице
| s |
|||
| 1 | 5,3 | 3 | -1 |
| 2 | 4,7 | 3,1 | 0,4 |
| 3 | 4,7 | 3 | -1 |
| 4 | 5,3 | 3,1 | -1 |
| 5 | 5,3 | 3 | 0,4 |
| 6 | 4,7 | 3,1 | -1 |
| 7 | 4,7 | 3 | 0,4 |
| 8 | 5,3 | 3,1 | 0,4 |
Стационарные
вероятности находятся из уравнений
Например,
для второй стратегии (s = 2) уравнения
имеют вид
(Одно
из уравнений избыточно). Решение
системы уравнений дает
Для
данной стратегии ожидаемый годовой
доход равен
Аналогично
рассчитываются и годовые доходы
для всех остальных стратегий (см.
Табл.)
| 1 | 0 | 0 | 1 | |
| 2 | 6/59 | 31/59 | 22/59 | 2,256 |
| 3 | 0 | 0 | 1 | 0,4 |
| 4 | 0 | 0 | 1 | -1,0 |
| 5 | 5/154 | 69/154 | 80/154 | 1,724 |
| 6 | 0 | 0 | 1 | -1.0 |
| 7 | 5/137 | 62/137 | 70/137 | 1,734 |
| 8 | 12/135 | 69/135 | 54/135 | 2,216 |
Из таблицы видно, что в условиях нашего примера наибольший ожидаемый годовой доход дает стратегия 2 (долгосрочная стратегия требует применения удобрений независимо от состояния почвы).