Московский Государственный Технический Университет имени Н.Э. Баумана

Аэрокосмический факультет








Р Е Ф Е Р А Т

По курсу «Оптимальные системы автоматического управления»


Связь между вариационным исчислением,

принципом максимума и динамическим программированием







Студент: Палкин М.В.

Группа: АК4-91

Преподаватель: к.т.н. доц. Деменков Н.П.














Реутов 2001

Содержание

  1. Задача оптимального управления

  2. Краткое описание аналитических методов оптимизации:

  1. принципа максимума Понтрягина

  2. классического вариационного исчисления.

  3. динамического программирования.

  1. Связь между вариационным исчислением, методом динамического программирования и принципом максимума.






























Задача оптимального управления

Пусть объект управления описывается системой уравнений


или в векторной форме

где x=(x1, …, xn)- вектор координат состояния, u=(u1, …, un)- вектор координат управления.

Основная задача оптимального управления: среди всех допустимых управлений, переводящих изображающюю точку в фазовом пространстве системы X из начального положения x0 в конечное x1, если эти управления существуют, найти такое управление, для которого функционал


достигает минимума.

Принцип максимума Понтрягина


Основан на установлении связи оптимизируемого функционала J с динамикой процесса. Эта связь устанавливается через функцию Гамильтона (неавтономная система)



где функции i удовлетворяют уравнениям



Принцип максимума Понтрягина состоит в том, что для оптимального управления и соответствующих координат xi, для которых критерий J имеет минимальное значение, функция Гамильтона H имеет максимум.


Вариационное исчисление

Классическое вариационное исчисление находит применение в задачах, где отсутствуют ограничения на управляющие воздействия. Оптимальное значение критерия ищется из решения уравнений Эйлера-Лагранжа:



Динамическое программирование

представляет собой эффективный метод многошагового решения вариационных задач. Согласно этому методу исходный процесс заменяется совокупностью более простых процессов.

Функция параметров состояния для процесса, описываемого уравнением

может быть выбрана в виде:


для непрерывных систем необходимое условие экстремума имеет вид:


и носит название уравнения Беллмана.

Связь между вариационным исчислением, принципом максимума

и динамическим программированием


Установим вначале связь между принципом максимума и классическим вариационным исчислением. В частности, покажем, что основные соотношения принципа максимума при решении задачи оптимального управления системой


(1)


при отсутствии ограничений на управление могут быть получены с помощью классического вариационного исчисления. Пусть минимизируемый функционал имеет вид



Сформулированная задача представляет собой задачу Лагранжа на условный экстремум. Следуя методу решения задачи Лагранжа, составим вспомогательный функционал;


(2)


Уравнения Эйлера для функционала (2) имеют вид



(3)



Введем в рассмотрение векторную функцию


(4)


полагая ψ0(t)=-1, ψi(t)=λi(t) (i=1,2,…,n) и функцию


(5)

Тогда для функций ψi(t) получим следующую систему уравнений:


(i=1,2,…,n) (6)

Оптимальное управление u(t) является стационарной точкой функции , т. е.


(j=1,2,…,n) (7)


Выясним связь между классическим вариационным исчислением и методом динамического программирования.

Для этого рассмотрим задачу минимизации функционала



Обозначим и выполним решение этой задачи методом динамического программирования. Составим уравнение Беллмана

(8)


Полагаем, что на управление u ограничений не накладывается. Тогда управление u, минимизирующее правую часть уравнения (8), определяется из условия


и

Возвращаясь к исходным переменным, получим


(9)

(10)


Из уравнений (9) следует уравнение Эйлера — Лагранжа, а условие (10) представляет собой условие Лежандра. В самом деле, возьмем полную производную по t первого уровня и частную производную по x второго уравнения системы (9). Тогда получим:

или


Установим связь между принципом максимума и методом динамического программирования.

Рассмотрим стационарную задачу с закрепленными границами, т.е. динамическую систему, описываемую дифференциальными уравнениями в векторной форме

(11)

для которой требуется определить допустимое управление u(t)U, для которого соответствующая траектория x(t ) достигает минимум функционалу

Начальная точка x(to)=x0 и конечная x(t1)=x1 полагают фиксированными. Уравнение Беллмана для этого случая имеет вид:


(12)

где


Для дальнейшего изложения полагаем, что функция S(x) дважды непрерывно дифференцируема. Введем в рассмотрение функцию

(13)


Тогда уравнение (12) можно записать в виде

(14)


Пусть u(t)–оптимальное управление. Тогда в силу непрерывной дифференцируемости функции имеем


(15)

(j=1,2,…n)

Но

Обозначив

(j=1,2,…n), 0 =-1 (16)

то систему равенств (15) можно представить в виде


(j=1,2,…,n)

(17)

Уравнения (17) совпадают с уравнениями для векторной функции в основной теореме принципа максимума, а из равенства (14) следует, что функция Гамильтона

Достигает на оптимальном управлении u(t)максимума по u.


Таким образом установлена взаимная связь между классическим вариационным исчислением, принципом максимума и динамическим программированием.





















Литература
  1. Иванов,Фалдин. Теория оптимальных систем управления.

  2. Инженерный справочник по космической технике.