Линейно-квадратично-гауссово управление

Метод линейного оптимального управления

В теории управления задача линейно-квадратично-гауссова ( LQG ) управления является одной из наиболее фундаментальных задач оптимального управления , и ее также можно многократно использовать для управления моделью с прогнозированием . Речь идет о линейных системах, управляемых аддитивным белым гауссовским шумом . Задача состоит в том, чтобы определить закон обратной связи по выходу, оптимальный в смысле минимизации ожидаемого значения квадратичного критерия стоимости . Предполагается, что выходные измерения искажены гауссовским шумом, а исходное состояние также считается гауссовским случайным вектором.

При этих предположениях оптимальная схема управления в классе линейных законов управления может быть получена с помощью аргумента пополнения квадратов. ^[1] Этот закон управления, известный как LQG- контроллер, уникален и представляет собой просто комбинацию фильтра Калмана (линейно-квадратичной оценки состояния (LQE)) вместе с линейно-квадратичным регулятором (LQR). Принцип разделения гласит, что средство оценки состояния и обратная связь по состоянию могут разрабатываться независимо. Управление LQG применяется как к линейным, не зависящим от времени системам , так и к линейным изменяющимся во времени системам и представляет собой закон управления с линейной динамической обратной связью, который легко вычисляется и реализуется: контроллер LQG сам по себе является динамической системой, подобной системе, которой он управляет. Обе системы имеют одинаковое государственное измерение.

Более глубокая формулировка принципа разделения заключается в том, что LQG-регулятор по-прежнему оптимален в более широком классе возможных нелинейных регуляторов. То есть использование нелинейной схемы управления не улучшит ожидаемое значение функции стоимости. Эта версия принципа разделения является частным случаем принципа разделения стохастического управления , который гласит, что даже когда источники шума процесса и выходного шума, возможно, являются негауссовскими мартингалами , пока динамика системы линейна, оптимальное управление разделяется на оценщик оптимального состояния (который больше не может быть фильтром Калмана) и регулятор LQR. ^{[2] [3]}

В классической настройке LQG реализация контроллера LQG может быть проблематичной, когда размерность состояния системы велика. Проблема LQG уменьшенного порядка (проблема LQG фиксированного порядка) преодолевает это за счет априорного фиксирования количества состояний контроллера LQG. Эту проблему решить труднее, поскольку она уже неразделима. Кроме того, решение больше не является уникальным. Несмотря на эти факты, доступны численные алгоритмы ^{[4] [5] [6] [7]} для решения соответствующих уравнений оптимального проецирования ^{[8] [9]} , которые составляют необходимые и достаточные условия для локально оптимального LQG-контроллера пониженного порядка. ^[4]

Оптимальность LQG не обеспечивает автоматически хорошие характеристики надежности. ^[10] Устойчивость замкнутой системы должна быть проверена отдельно после проектирования контроллера LQG. Для повышения надежности некоторые параметры системы можно считать стохастическими, а не детерминированными. Соответствующая более сложная задача управления приводит к аналогичному оптимальному регулятору, у которого различаются только параметры регулятора. ^[5]

Можно вычислить ожидаемое значение функции стоимости для оптимального выигрыша, а также для любого другого набора стабильных выигрышей. ^[11]

Контроллер LQG также используется для управления возмущенными нелинейными системами. ^[12]

Математическое описание задачи и решение

Непрерывное время

Рассмотрим линейную динамическую систему с непрерывным временем

${\displaystyle {\dot {\mathbf {x} }}(t)=A(t)\mathbf {x} (t)+B(t)\mathbf {u} (t)+\mathbf {v} (t),}$

${\displaystyle \mathbf {y} (t)=C(t)\mathbf {x} (t)+\mathbf {w} (t),}$

где представляет собой вектор переменных состояния системы, вектор управляющих входов и вектор измеряемых выходов, доступных для обратной связи. На систему влияют как аддитивный белый гауссов шум системы , так и аддитивный белый гауссов шум измерений . В этой системе цель состоит в том, чтобы найти историю управляющих входов , которая в каждый момент времени может линейно зависеть только от прошлых измерений, так что следующая функция стоимости минимизируется: ${\displaystyle {\mathbf {x} }}$ ${\displaystyle {\mathbf {u} }}$ ${\displaystyle {\mathbf {y} }}$ ${\displaystyle \mathbf {v} (t)}$ ${\displaystyle \mathbf {w} (t)}$ ${\displaystyle {\mathbf {u} }(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\mathbf {y} }(t'),0\leq t'<t}$

${\displaystyle J=\mathbb {E} \left[{\mathbf {x} ^{\mathrm {T} }}(T)F{\mathbf {x} }(T)+\int _{0}^{T}{\mathbf {x} ^{\mathrm {T} }}(t)Q(t){\mathbf {x} }(t)+{\mathbf {u} ^{\mathrm {T} }}(t)R(t){\mathbf {u} }(t)\,dt\right],}$

${\displaystyle F\geq 0,\quad Q(t)\geq 0,\quad R(t)>0,}$

где обозначает ожидаемое значение . Конечное время (горизонт) может быть как конечным, так и бесконечным. Если горизонт стремится к бесконечности, первый член функции стоимости становится незначительным и не имеет отношения к задаче. Кроме того, чтобы затраты были конечными, функцию стоимости необходимо принять равной . ${\displaystyle \mathbb {E} }$ ${\displaystyle {\mathbf {} }T}$ ${\displaystyle {\mathbf {x} }^{\mathrm {T} }(T)F{\mathbf {x} }(T)}$ ${\displaystyle {\mathbf {} }J/T}$

Контроллер LQG, который решает задачу управления LQG, определяется следующими уравнениями:

${\displaystyle {\dot {\hat {\mathbf {x} }}}(t)=A(t){\hat {\mathbf {x} }}(t)+B(t){\mathbf {u} }(t)+L(t)\left({\mathbf {y} }(t)-C(t){\hat {\mathbf {x} }}(t)\right),\quad {\hat {\mathbf {x} }}(0)=\mathbb {E} \left[{\mathbf {x} }(0)\right],}$

${\displaystyle {\mathbf {u} }(t)=-K(t){\hat {\mathbf {x} }}(t).}$

Матрица называется коэффициентом усиления Калмана соответствующего фильтра Калмана, представленного первым уравнением. Каждый раз этот фильтр генерирует оценки состояния, используя прошлые измерения и входные данные. Усиление Калмана вычисляется на основе матриц : двух матриц интенсивности , связанных с белыми гауссовскими шумами , и , наконец , . Эти пять матриц определяют коэффициент усиления Калмана посредством следующего связанного матричного дифференциального уравнения Риккати: ${\displaystyle {\mathbf {} }L(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\hat {\mathbf {x} }}(t)}$ ${\displaystyle {\mathbf {x} }(t)}$ ${\displaystyle {\mathbf {} }L(t)}$ ${\displaystyle {\mathbf {} }A(t),C(t)}$ ${\displaystyle \mathbf {} V(t),W(t)}$ ${\displaystyle \mathbf {v} (t)}$ ${\displaystyle \mathbf {w} (t)}$ ${\displaystyle \mathbb {E} \left[{\mathbf {x} }(0){\mathbf {x} }^{\mathrm {T} }(0)\right]}$

${\displaystyle {\dot {P}}(t)=A(t)P(t)+P(t)A^{\mathrm {T} }(t)-P(t)C^{\mathrm {T} }(t){\mathbf {} }W^{-1}(t)C(t)P(t)+V(t),}$

${\displaystyle P(0)=\mathbb {E} \left[{\mathbf {x} }(0){\mathbf {x} }^{\mathrm {T} }(0)\right].}$

Учитывая решение, выигрыш Калмана равен ${\displaystyle P(t),0\leq t\leq T}$

${\displaystyle {\mathbf {} }L(t)=P(t)C^{\mathrm {T} }(t)W^{-1}(t).}$

Матрица называется матрицей усиления обратной связи . Эта матрица определяется матрицами и следующим связанным с ними матричным дифференциальным уравнением Риккати: ${\displaystyle {\mathbf {} }K(t)}$ ${\displaystyle {\mathbf {} }A(t),B(t),Q(t),R(t)}$ ${\displaystyle {\mathbf {} }F}$

${\displaystyle -{\dot {S}}(t)=A^{\mathrm {T} }(t)S(t)+S(t)A(t)-S(t)B(t)R^{-1}(t)B^{\mathrm {T} }(t)S(t)+Q(t),}$

${\displaystyle {\mathbf {} }S(T)=F.}$

Учитывая решение, коэффициент обратной связи равен ${\displaystyle {\mathbf {} }S(t),0\leq t\leq T}$

${\displaystyle {\mathbf {} }K(t)=R^{-1}(t)B^{\mathrm {T} }(t)S(t).}$

Обратите внимание на сходство двух матричных дифференциальных уравнений Риккати: первое движется вперед во времени, второе — назад во времени. Это сходство называется двойственностью . Первое матричное дифференциальное уравнение Риккати решает линейно-квадратическую задачу оценивания (LQE). Второе матричное дифференциальное уравнение Риккати решает задачу линейно-квадратичного регулятора (LQR). Эти задачи двойственны и вместе они решают задачу линейно-квадратично-гауссовского управления (ЛКГ). Таким образом, проблема LQG разделяется на проблемы LQE и LQR, которые можно решить независимо. Поэтому задача ЛКГ называется сепарабельной .

Когда и матрицы интенсивности шума , не зависят от и когда стремятся к бесконечности, ЛКГ-регулятор становится стационарной динамической системой. В этом случае второе матричное дифференциальное уравнение Риккати может быть заменено соответствующим алгебраическим уравнением Риккати . ${\displaystyle {\mathbf {} }A(t),B(t),C(t),Q(t),R(t)}$ ${\displaystyle \mathbf {} V(t)}$ ${\displaystyle \mathbf {} W(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\mathbf {} }T}$

Дискретное время

Поскольку задача управления LQG в дискретном времени аналогична задаче управления в непрерывном времени, описание ниже сосредоточено на математических уравнениях.

Уравнения линейной системы с дискретным временем имеют вид

${\displaystyle {\mathbf {x} }_{i+1}=A_{i}\mathbf {x} _{i}+B_{i}\mathbf {u} _{i}+\mathbf {v} _{i},}$

${\displaystyle \mathbf {y} _{i}=C_{i}\mathbf {x} _{i}+\mathbf {w} _{i}.}$

Здесь представлен индекс дискретного времени и представлены процессы гауссовского белого шума с дискретным временем с ковариационными матрицами соответственно и независимы друг от друга. ${\displaystyle \mathbf {} i}$ ${\displaystyle \mathbf {v} _{i},\mathbf {w} _{i}}$ ${\displaystyle \mathbf {} V_{i},W_{i}}$

Квадратичная функция стоимости, которую необходимо минимизировать, равна

${\displaystyle J=\mathbb {E} \left[{\mathbf {x} }_{N}^{\mathrm {T} }F{\mathbf {x} }_{N}+\sum _{i=0}^{N-1}(\mathbf {x} _{i}^{\mathrm {T} }Q_{i}\mathbf {x} _{i}+\mathbf {u} _{i}^{\mathrm {T} }R_{i}\mathbf {u} _{i})\right],}$

${\displaystyle F\geq 0,Q_{i}\geq 0,R_{i}>0.\,}$

Контроллер LQG с дискретным временем

${\displaystyle {\hat {\mathbf {x} }}_{i+1}=A_{i}{\hat {\mathbf {x} }}_{i}+B_{i}{\mathbf {u} }_{i}+L_{i+1}\left({\mathbf {y} }_{i+1}-C_{i+1}\left\{A_{i}{\hat {\mathbf {x} }}_{i}+B_{i}\mathbf {u} _{i}\right\}\right),\qquad {\hat {\mathbf {x} }}_{0}=\mathbb {E} [{\mathbf {x} }_{0}]}$,

${\displaystyle \mathbf {u} _{i}=-K_{i}{\hat {\mathbf {x} }}_{i}.\,}$

и соответствует прогнозной оценке . ${\displaystyle {\hat {\mathbf {x} }}_{i}}$ ${\displaystyle {\hat {\mathbf {x} }}_{i}=\mathbb {E} [\mathbf {x} _{i}|\mathbf {y} ^{i},\mathbf {u} ^{i-1}]}$

Выигрыш Калмана равен

${\displaystyle {\mathbf {} }L_{i}=P_{i}C_{i}^{\mathrm {T} }(C_{i}P_{i}C_{i}^{\mathrm {T} }+W_{i})^{-1},}$

где определяется следующим матричным разностным уравнением Риккати, действующим во времени: ${\displaystyle {\mathbf {} }P_{i}}$

${\displaystyle P_{i+1}=A_{i}\left(P_{i}-P_{i}C_{i}^{\mathrm {T} }\left(C_{i}P_{i}C_{i}^{\mathrm {T} }+W_{i}\right)^{-1}C_{i}P_{i}\right)A_{i}^{\mathrm {T} }+V_{i},\qquad P_{0}=\mathbb {E} [\left({\mathbf {x} }_{0}-{\hat {\mathbf {x} }}_{0}\right)\left({\mathbf {x} }_{0}-{\hat {\mathbf {x} }}_{0}\right)^{\mathrm {T} }].}$

Матрица усиления обратной связи равна

${\displaystyle {\mathbf {} }K_{i}=(B_{i}^{\mathrm {T} }S_{i+1}B_{i}+R_{i})^{-1}B_{i}^{\mathrm {T} }S_{i+1}A_{i}}$

где определяется следующим матричным разностным уравнением Риккати, которое работает в обратном направлении во времени: ${\displaystyle {\mathbf {} }S_{i}}$

${\displaystyle S_{i}=A_{i}^{\mathrm {T} }\left(S_{i+1}-S_{i+1}B_{i}\left(B_{i}^{\mathrm {T} }S_{i+1}B_{i}+R_{i}\right)^{-1}B_{i}^{\mathrm {T} }S_{i+1}\right)A_{i}+Q_{i},\quad S_{N}=F.}$

Если все матрицы в формулировке задачи инвариантны ко времени и если горизонт стремится к бесконечности, контроллер LQG с дискретным временем становится инвариантным ко времени. В этом случае матричные разностные уравнения Риккати могут быть заменены соответствующими алгебраическими уравнениями Риккати в дискретном времени . Они определяют неизменяемый во времени линейно-квадратичный оценщик и неизменяемый во времени линейно-квадратичный регулятор в дискретном времени. В этом случае необходимо учитывать расходы, чтобы сохранить конечные затраты . ${\displaystyle {\mathbf {} }N}$ ${\displaystyle {\mathbf {} }J}$ ${\displaystyle {\mathbf {} }J/N}$

Смотрите также

• Стохастический контроль
• Контрпример Витсенхаузена

Рекомендации

1. Карл Йохан Астром (1970). Введение в стохастическую теорию управления . Том. 58. Академическая пресса. ISBN 0-486-44531-3.
2. Андерс Линдквист (1973). «Об управлении линейными стохастическими системами с обратной связью». SIAM Journal по контролю . 11 (2): 323–343. дои : 10.1137/0311025..
3. Трифон Т. Георгиу и Андерс Линдквист (2013). «Принцип разделения в стохастическом управлении, Redux». Транзакции IEEE при автоматическом управлении . 58 (10): 2481–2494. arXiv : 1103.3005 . дои : 10.1109/TAC.2013.2259207. S2CID  12623187.
4. Ван Виллигенбург LG; Де Конинг В.Л. (2000). «Численные алгоритмы и вопросы, касающиеся уравнений оптимального проецирования в дискретном времени». Европейский журнал контроля . 6 (1): 93–100. дои : 10.1016/s0947-3580(00)70917-4.Сопутствующее программное обеспечение можно загрузить с Matlab Central.
5. Ван Виллигенбург LG; Де Конинг В.Л. (1999). «Оптимальные компенсаторы пониженного порядка для нестационарных дискретных систем с детерминированными параметрами и параметрами белого». Автоматика . 35 : 129–138. дои : 10.1016/S0005-1098(98)00138-1.Сопутствующее программное обеспечение можно загрузить с Matlab Central.
6. Зигич Д.; Уотсон Л.Т.; Коллинз Э.Г.; Хаддад В.М.; Ин С. (1996). «Гомотопические методы решения уравнений оптимального проецирования для задачи модели пониженного порядка H2». Международный журнал контроля . 56 (1): 173–191. дои : 10.1080/00207179208934308.
7. Коллинз-младший Э.Г.; Хаддад В.М.; Ин С. (1996). «Гомотопический алгоритм для динамической компенсации пониженного порядка с использованием уравнений оптимальной проекции Хайланда-Бернштейна». Журнал управления, контроля и динамики . 19 (2): 407–417. дои : 10.2514/3.21633.
8. Хайленд, округ Колумбия; Бернштейн Д.С. (1984). «Оптимальные уравнения проекции для динамической компенсации фиксированного порядка» (PDF) . Транзакции IEEE при автоматическом управлении . AC-29 (11): 1034–1037. дои : 10.1109/TAC.1984.1103418. hdl : 2027.42/57875 .
9. Бернштейн Д.С.; Дэвис Л.Д.; Хайленд, округ Колумбия (1986). «Оптимальные проекционные уравнения для оценки и управления моделированием в дискретном времени пониженного порядка» (PDF) . Журнал управления, контроля и динамики . 9 (3): 288–293. Бибкод : 1986JGCD....9..288B. дои : 10.2514/3.20105. hdl : 2027.42/57880 .
10. Грин, Майкл; Лаймбир, Дэвид Дж. Н. (1995). Линейное робастное управление. Энглвуд Клиффс: Прентис Холл. п. 27. ISBN 0-13-102278-4.
11. Мацакис, Деметриос (8 марта 2019 г.). «Влияние стратегий пропорционального управления на поведение управляемых часов». Метрология . 56 (2): 025007. Бибкод : 2019Метро..56b5007M. дои : 10.1088/1681-7575/ab0614 .
12. Атанс М. (1971). «Роль и использование стохастической линейно-квадратично-гауссовой задачи при проектировании систем управления». Транзакции IEEE при автоматическом управлении . AC-16 (6): 529–552. дои : 10.1109/TAC.1971.1099818.

дальнейшее чтение

• Стенгель, Роберт Ф. (1994). Оптимальное управление и оценка. Нью-Йорк: Дувр. ISBN 0-486-68200-5.