принцип максимума Понтрягина

Принцип в теории оптимального управления для наилучшего способа изменения состояния в динамической системе

Максимальный принцип Понтрягина используется в теории оптимального управления для поиска наилучшего возможного управления для перевода динамической системы из одного состояния в другое, особенно при наличии ограничений для управления состоянием или входными параметрами. Он утверждает, что для любого оптимального управления вместе с оптимальной траекторией состояния необходимо решить так называемую гамильтонову систему, которая представляет собой двухточечную граничную задачу , плюс условие максимума гамильтониана управления . ^[a] Эти необходимые условия становятся достаточными при определенных условиях выпуклости на функции цели и ограничения. ^{[1] [2]}

Принцип максимума был сформулирован в 1956 году русским математиком Львом Понтрягиным и его учениками ^{[3] [4]} , и его первоначальное применение было направлено на максимизацию конечной скорости ракеты. ^[5] Результат был получен с использованием идей классического вариационного исчисления . ^[6] После небольшого возмущения оптимального управления рассматривается член первого порядка разложения Тейлора относительно возмущения; устремление возмущения к нулю приводит к вариационному неравенству, из которого следует принцип максимума. ^[7]

Широко рассматриваемый как веха в теории оптимального управления, принцип максимума имеет значение в том, что максимизация гамильтониана намного проще, чем исходная бесконечномерная задача управления; вместо максимизации по функциональному пространству , задача преобразуется в поточечную оптимизацию. ^[8] Похожая логика приводит к принципу оптимальности Беллмана , связанному подходу к задачам оптимального управления, который утверждает, что оптимальная траектория остается оптимальной в промежуточные моменты времени. ^[9] Полученное уравнение Гамильтона–Якоби–Беллмана обеспечивает необходимое и достаточное условие для оптимума и допускает прямое расширение на стохастические задачи оптимального управления, тогда как принцип максимума этого не делает. ^[7] Однако, в отличие от уравнения Гамильтона–Якоби–Беллмана, которое должно выполняться во всем пространстве состояний, чтобы быть действительным, принцип максимума Понтрягина потенциально более эффективен с вычислительной точки зрения, поскольку условия, которые он определяет, должны выполняться только по конкретной траектории.

Обозначение

Для набора и функций ${\displaystyle {\mathcal {U}}}$

${\displaystyle \Psi :\mathbb {R} ^{n}\to \mathbb {R} }$,

${\displaystyle H:\mathbb {R} ^{n}\times {\mathcal {U}}\times \mathbb {R} ^{n}\times \mathbb {R} \to \mathbb {R} }$,

${\displaystyle L:\mathbb {R} ^{n}\times {\mathcal {U}}\to \mathbb {R} }$,

${\displaystyle f:\mathbb {R} ^{n}\times {\mathcal {U}}\to \mathbb {R} ^{n}}$,

мы используем следующие обозначения:

${\displaystyle \Psi _{T}(x(T))=\left.{\frac {\partial \Psi (x)}{\partial T}}\right|_{x=x(T)}\,}$,

${\displaystyle \Psi _{x}(x(T))={\begin{bmatrix}\left.{\frac {\partial \Psi (x)}{\partial x_{1}}}\right|_{x=x(T)}&\cdots &\left.{\frac {\partial \Psi (x)}{\partial x_{n}}}\right|_{x=x(T)}\end{bmatrix}}}$,

${\displaystyle H_{x}(x^{*},u^{*},\lambda ^{*},t)={\begin{bmatrix}\left.{\frac {\partial H}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}&\cdots &\left.{\frac {\partial H}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}\end{bmatrix}}}$,

${\displaystyle L_{x}(x^{*},u^{*})={\begin{bmatrix}\left.{\frac {\partial L}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\cdots &\left.{\frac {\partial L}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\end{bmatrix}}}$,

${\displaystyle f_{x}(x^{*},u^{*})={\begin{bmatrix}\left.{\frac {\partial f_{1}}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\cdots &\left.{\frac {\partial f_{1}}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\\\vdots &\ddots &\vdots \\\left.{\frac {\partial f_{n}}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\ldots &\left.{\frac {\partial f_{n}}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\end{bmatrix}}}$.

Формальная формулировка необходимых условий для задач минимизации

Здесь показаны необходимые условия минимизации функционала.

Рассмотрим n-мерную динамическую систему с переменной состояния и переменной управления , где — множество допустимых управлений. Эволюция системы определяется состоянием и управлением согласно дифференциальному уравнению . Пусть начальное состояние системы равно и пусть эволюция системы контролируется в течение периода времени со значениями . Последнее определяется следующим дифференциальным уравнением: ${\displaystyle x\in \mathbb {R} ^{n}}$ ${\displaystyle u\in {\mathcal {U}}}$ ${\displaystyle {\mathcal {U}}}$ ${\displaystyle {\dot {x}}=f(x,u)}$ ${\displaystyle x_{0}}$ ${\displaystyle t\in [0,T]}$

${\displaystyle {\dot {x}}=f(x,u),\quad x(0)=x_{0},\quad u(t)\in {\mathcal {U}},\quad t\in [0,T]}$

Траектория управления выбирается в соответствии с целью. Цель — это функционал, определяемый ${\displaystyle u:[0,T]\to {\mathcal {U}}}$ ${\displaystyle J}$

${\displaystyle J=\Psi (x(T))+\int _{0}^{T}L{\big (}x(t),u(t){\big )}\,dt}$,

где можно интерпретировать как ставку затрат на осуществление контроля в состоянии , а можно интерпретировать как затраты на попадание в состояние . Конкретный выбор зависит от приложения. ${\displaystyle L(x,u)}$ ${\displaystyle u}$ ${\displaystyle x}$ ${\displaystyle \Psi (x)}$ ${\displaystyle x}$ ${\displaystyle L,\Psi }$

Ограничения на динамику системы можно присоединить к лагранжиану , введя изменяющийся во времени вектор множителей Лагранжа , элементы которого называются статами системы. Это мотивирует построение гамильтониана , определяемого для всех как: ${\displaystyle L}$ ${\displaystyle \lambda }$ ${\displaystyle H}$ ${\displaystyle t\in [0,T]}$

${\displaystyle H{\big (}x(t),u(t),\lambda (t),t{\big )}=\lambda ^{\rm {T}}(t)\cdot f{\big (}x(t),u(t){\big )}+L{\big (}x(t),u(t){\big )}}$

где транспонировано . ${\displaystyle \lambda ^{\rm {T}}}$ ${\displaystyle \lambda }$

Минимальный принцип Понтрягина утверждает, что оптимальная траектория состояния , оптимальное управление и соответствующий вектор множителей Лагранжа должны минимизировать гамильтониан так, чтобы ${\displaystyle x^{*}}$ ${\displaystyle u^{*}}$ ${\displaystyle \lambda ^{*}}$ ${\displaystyle H}$

для всех времен и для всех допустимых входных сигналов управления . Здесь траектория вектора множителей Лагранжа является решением уравнения состояния и его конечных условий: ${\displaystyle t\in [0,T]}$ ${\displaystyle u\in {\mathcal {U}}}$ ${\displaystyle \lambda }$

Если фиксировано, то эти три условия в (1)-(3) являются необходимыми условиями для оптимального управления. ${\displaystyle x(T)}$

Если конечное состояние не фиксировано (т.е. его дифференциальное изменение не равно нулю), то существует дополнительное условие ${\displaystyle x(T)}$

Эти четыре условия (1)-(4) являются необходимыми условиями оптимального управления.

Смотрите также

• Множители Лагранжа в банаховых пространствах , метод Лагранжа в вариационном исчислении

Примечания

1. Является ли экстремальное значение максимальным или минимальным, зависит от соглашения о знаках, используемого для определения гамильтониана. Историческое соглашение приводит к максимуму, следовательно, к принципу максимума. В последние годы его чаще называют просто принципом Понтрягина, без использования прилагательных «максимальный» или «минимальный».

Ссылки

1. Мангасарян, О. Л. (1966). «Достаточные условия оптимального управления нелинейными системами». Журнал SIAM по управлению . 4 (1): 139–152. doi :10.1137/0304013.
2. Камьен, Мортон И.; Шварц, Нэнси Л. (1971). «Достаточные условия в теории оптимального управления». Журнал экономической теории . 3 (2): 207–214. doi :10.1016/0022-0531(71)90018-4.
3. Болтянски, В.; Мартини, Х.; Солтан, В. (1998). «Принцип максимума – как он появился?». Геометрические методы и проблемы оптимизации . Нью-Йорк: Springer. С. 204–227. ISBN 0-7923-5454-0.
4. Гамкрелидзе, Р. В. (1999). «Открытие принципа максимума». Журнал динамических и управляющих систем . 5 (4): 437–451. doi :10.1023/A:1021783020548. S2CID  122690986.Перепечатано в Bolibruch, AA ; et al., eds. (2006). Математические события двадцатого века . Берлин: Springer. стр. 85–99. ISBN 3-540-23235-4.
5. Для первых опубликованных работ см. ссылки в Fuller, AT (1963). «Библиография принципа максимума Понтрягина». J. Electronics & Control . 15 (5): 513–517. doi :10.1080/00207216308937602.
6. МакШейн, Э. Дж. (1989). «Исчисление вариаций от начала до теории оптимального управления». SIAM J. Control Optim . 27 (5): 916–939. doi :10.1137/0327049.
7. Yong, J.; Zhou, XY (1999). "Принцип максимума и стохастические гамильтоновы системы". Стохастическое управление: гамильтоновы системы и уравнения HJB . Нью-Йорк: Springer. С. 101–156. ISBN 0-387-98723-1.
8. Шастри, Шанкар (29 марта 2009 г.). «Конспект лекций 8. Оптимальное управление и динамические игры» (PDF) .
9. Чжоу, XY (1990). «Принцип максимума, динамическое программирование и их связь в детерминированном управлении». Журнал теории оптимизации и приложений . 65 (2): 363–373. doi :10.1007/BF01102352. S2CID  122333807.

Дальнейшее чтение

• Geering, HP (2007). Оптимальное управление с инженерными приложениями . Springer. ISBN 978-3-540-69437-3.
• Кирк, Д.Э. (1970). Оптимальная теория управления: Введение . Prentice Hall. ISBN 0-486-43484-2.
• Ли, Э. Б.; Маркус, Л. (1967). Основы теории оптимального управления . Нью-Йорк: Wiley.
• Seierstad, Atle; Sydsæter, Knut (1987). Оптимальная теория управления с экономическими приложениями . Амстердам: Северная Голландия. ISBN 0-444-87923-4.

Внешние ссылки

• «Принцип максимума Понтрягина», Энциклопедия математики , EMS Press , 2001 [1994]