Линейно-квадратично-гауссовское управление

Метод линейного оптимального управления

В теории управления линейно -квадратично-гауссовская ( LQG ) задача управления является одной из самых фундаментальных задач оптимального управления , и она также может многократно использоваться для управления с прогнозированием модели . Она касается линейных систем, управляемых аддитивным белым гауссовым шумом . Задача состоит в определении закона обратной связи на выходе, который является оптимальным в смысле минимизации ожидаемого значения квадратичного критерия стоимости . Предполагается, что выходные измерения искажены гауссовым шумом, а начальное состояние также предполагается гауссовым случайным вектором.

При этих предположениях оптимальная схема управления в классе линейных законов управления может быть получена с помощью аргумента дополнения квадратов. ^[1] Этот закон управления, который известен как контроллер LQG , уникален и представляет собой просто комбинацию фильтра Калмана (линейно-квадратичного оценщика состояния (LQE)) вместе с линейно-квадратическим регулятором (LQR). Принцип разделения гласит, что оценщик состояния и обратная связь по состоянию могут быть разработаны независимо. Управление LQG применяется как к линейным системам, не зависящим от времени, так и к линейным системам, изменяющимся во времени , и представляет собой линейный динамический закон управления с обратной связью, который легко вычисляется и реализуется: сам контроллер LQG является динамической системой, подобной системе, которую он контролирует. Обе системы имеют одинаковую размерность состояния.

Более глубокое утверждение принципа разделения заключается в том, что контроллер LQG по-прежнему оптимален в более широком классе возможно нелинейных контроллеров. То есть использование нелинейной схемы управления не улучшит ожидаемое значение функции стоимости. Эта версия принципа разделения является частным случаем принципа разделения стохастического управления , который гласит, что даже когда источники шума процесса и выходного сигнала, возможно, являются негауссовыми мартингалами , пока динамика системы линейна, оптимальное управление разделяется на оптимальную оценку состояния (которая может больше не быть фильтром Калмана) и регулятор LQR. ^{[2] [3]}

В классической LQG-установке реализация LQG-контроллера может быть проблематичной, когда размерность состояния системы велика. Проблема LQG пониженного порядка (проблема LQG фиксированного порядка) преодолевает это, фиксируя априори количество состояний LQG-контроллера. Эту проблему сложнее решить, поскольку она больше не является разделимой. Кроме того, решение больше не является единственным. Несмотря на эти факты, доступны численные алгоритмы ^{[4] [5] [6] [7]} для решения связанных оптимальных проекционных уравнений ^{[8] [9],} которые составляют необходимые и достаточные условия для локально оптимального LQG-контроллера пониженного порядка. ^[4]

Оптимальность LQG не гарантирует автоматически хорошие свойства надежности. ^{[10] [11]} Надежная устойчивость замкнутой системы должна быть проверена отдельно после того, как контроллер LQG был разработан. Для повышения надежности некоторые параметры системы могут быть приняты стохастическими, а не детерминированными. Сопутствующая более сложная проблема управления приводит к аналогичному оптимальному контроллеру, в котором отличаются только параметры контроллера. ^[5]

Можно вычислить ожидаемое значение функции стоимости для оптимального прироста, а также для любого другого набора стабильных приростов. ^[12]

Контроллер LQG также используется для управления возмущенными нелинейными системами. ^[13]

Математическое описание задачи и решения

Непрерывное время

Рассмотрим линейную динамическую систему с непрерывным временем

${\displaystyle {\dot {\mathbf {x} }}(t)=A(t)\mathbf {x} (t)+B(t)\mathbf {u} (t)+\mathbf {v} (t),}$

${\displaystyle \mathbf {y} (t)=C(t)\mathbf {x} (t)+\mathbf {w} (t),}$

где представляет собой вектор переменных состояния системы, вектор входов управления и вектор измеренных выходов, доступных для обратной связи. Как аддитивный белый гауссовский системный шум , так и аддитивный белый гауссовский измерительный шум влияют на систему. При наличии этой системы цель состоит в том, чтобы найти историю входов управления , которая в каждый момент времени может линейно зависеть только от прошлых измерений, так что следующая функция стоимости минимизируется: ${\displaystyle {\mathbf {x} }}$ ${\displaystyle {\mathbf {u} }}$ ${\displaystyle {\mathbf {y} }}$ ${\displaystyle \mathbf {v} (t)}$ ${\displaystyle \mathbf {w} (t)}$ ${\displaystyle {\mathbf {u} }(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\mathbf {y} }(t'),0\leq t'<t}$

${\displaystyle J=\mathbb {E} \left[{\mathbf {x} ^{\mathrm {T} }}(T)F{\mathbf {x} }(T)+\int _{0}^{T}{\mathbf {x} ^{\mathrm {T} }}(t)Q(t){\mathbf {x} }(t)+{\mathbf {u} ^{\mathrm {T} }}(t)R(t){\mathbf {u} }(t)\,dt\right],}$

${\displaystyle F\geq 0,\quad Q(t)\geq 0,\quad R(t)>0,}$

где обозначает ожидаемое значение . Конечное время (горизонт) может быть как конечным, так и бесконечным. Если горизонт стремится к бесконечности, первый член функции стоимости становится пренебрежимо малым и нерелевантным для проблемы. Также, чтобы сохранить конечные затраты, следует принять функцию стоимости равной . ${\displaystyle \mathbb {E} }$ ${\displaystyle {\mathbf {} }T}$ ${\displaystyle {\mathbf {x} }^{\mathrm {T} }(T)F{\mathbf {x} }(T)}$ ${\displaystyle {\mathbf {} }J/T}$

Контроллер LQG, решающий задачу управления LQG, определяется следующими уравнениями:

${\displaystyle {\dot {\hat {\mathbf {x} }}}(t)=A(t){\hat {\mathbf {x} }}(t)+B(t){\mathbf {u} }(t)+L(t)\left({\mathbf {y} }(t)-C(t){\hat {\mathbf {x} }}(t)\right),\quad {\hat {\mathbf {x} }}(0)=\mathbb {E} \left[{\mathbf {x} }(0)\right],}$

${\displaystyle {\mathbf {u} }(t)=-K(t){\hat {\mathbf {x} }}(t).}$

Матрица называется усилением Калмана соответствующего фильтра Калмана, представленного первым уравнением. В каждый момент времени этот фильтр генерирует оценки состояния, используя прошлые измерения и входные данные. Усиление Калмана вычисляется из матриц , двух матриц интенсивности, связанных с белыми гауссовыми шумами и и, наконец , . Эти пять матриц определяют усиление Калмана с помощью следующего связанного матричного дифференциального уравнения Риккати: ${\displaystyle {\mathbf {} }L(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\hat {\mathbf {x} }}(t)}$ ${\displaystyle {\mathbf {x} }(t)}$ ${\displaystyle {\mathbf {} }L(t)}$ ${\displaystyle {\mathbf {} }A(t),C(t)}$ ${\displaystyle \mathbf {} V(t),W(t)}$ ${\displaystyle \mathbf {v} (t)}$ ${\displaystyle \mathbf {w} (t)}$ ${\displaystyle \mathbb {E} \left[{\mathbf {x} }(0){\mathbf {x} }^{\mathrm {T} }(0)\right]}$

${\displaystyle {\dot {P}}(t)=A(t)P(t)+P(t)A^{\mathrm {T} }(t)-P(t)C^{\mathrm {T} }(t){\mathbf {} }W^{-1}(t)C(t)P(t)+V(t),}$

${\displaystyle P(0)=\mathbb {E} \left[{\mathbf {x} }(0){\mathbf {x} }^{\mathrm {T} }(0)\right].}$

Учитывая решение, коэффициент усиления Калмана равен ${\displaystyle P(t),0\leq t\leq T}$

${\displaystyle {\mathbf {} }L(t)=P(t)C^{\mathrm {T} }(t)W^{-1}(t).}$

Матрица называется матрицей коэффициента усиления обратной связи . Эта матрица определяется матрицами и через следующее связанное с ней матричное дифференциальное уравнение Риккати: ${\displaystyle {\mathbf {} }K(t)}$ ${\displaystyle {\mathbf {} }A(t),B(t),Q(t),R(t)}$ ${\displaystyle {\mathbf {} }F}$

${\displaystyle -{\dot {S}}(t)=A^{\mathrm {T} }(t)S(t)+S(t)A(t)-S(t)B(t)R^{-1}(t)B^{\mathrm {T} }(t)S(t)+Q(t),}$

${\displaystyle {\mathbf {} }S(T)=F.}$

При данном решении коэффициент обратной связи равен ${\displaystyle {\mathbf {} }S(t),0\leq t\leq T}$

${\displaystyle {\mathbf {} }K(t)=R^{-1}(t)B^{\mathrm {T} }(t)S(t).}$

Обратите внимание на сходство двух матричных дифференциальных уравнений Риккати, первое из которых работает вперед во времени, второе — назад во времени. Это сходство называется дуальностью . Первое матричное дифференциальное уравнение Риккати решает линейно-квадратичную задачу оценки (LQE). Второе матричное дифференциальное уравнение Риккати решает линейно-квадратичную задачу регулятора (LQR). Эти задачи являются двойственными и вместе они решают линейно-квадратичную задачу управления Гаусса (LQG). Таким образом, задача LQG разделяется на задачу LQE и задачу LQR, которые могут быть решены независимо. Поэтому задача LQG называется разделимой .

Когда и матрицы интенсивности шума , не зависят от и когда стремится к бесконечности, контроллер LQG становится динамической системой, инвариантной во времени. В этом случае второе матричное дифференциальное уравнение Риккати может быть заменено связанным алгебраическим уравнением Риккати . ${\displaystyle {\mathbf {} }A(t),B(t),C(t),Q(t),R(t)}$ ${\displaystyle \mathbf {} V(t)}$ ${\displaystyle \mathbf {} W(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\mathbf {} }T}$

Дискретное время

Поскольку задача управления LQG в дискретном времени аналогична задаче в непрерывном времени, приведенное ниже описание сосредоточено на математических уравнениях.

Уравнения линейной системы с дискретным временем имеют вид

${\displaystyle {\mathbf {x} }_{i+1}=A_{i}\mathbf {x} _{i}+B_{i}\mathbf {u} _{i}+\mathbf {v} _{i},}$

${\displaystyle \mathbf {y} _{i}=C_{i}\mathbf {x} _{i}+\mathbf {w} _{i}.}$

Здесь представляет собой дискретный временной индекс и представляет собой дискретные по времени гауссовские процессы белого шума с ковариационными матрицами , соответственно, и независимы друг от друга. ${\displaystyle \mathbf {} i}$ ${\displaystyle \mathbf {v} _{i},\mathbf {w} _{i}}$ ${\displaystyle \mathbf {} V_{i},W_{i}}$

Квадратичная функция стоимости, которую необходимо минимизировать, имеет вид

${\displaystyle J=\mathbb {E} \left[{\mathbf {x} }_{N}^{\mathrm {T} }F{\mathbf {x} }_{N}+\sum _{i=0}^{N-1}(\mathbf {x} _{i}^{\mathrm {T} }Q_{i}\mathbf {x} _{i}+\mathbf {u} _{i}^{\mathrm {T} }R_{i}\mathbf {u} _{i})\right],}$

${\displaystyle F\geq 0,Q_{i}\geq 0,R_{i}>0.\,}$

Дискретный контроллер LQG — это

${\displaystyle {\hat {\mathbf {x} }}_{i+1}=A_{i}{\hat {\mathbf {x} }}_{i}+B_{i}{\mathbf {u} }_{i}+L_{i+1}\left({\mathbf {y} }_{i+1}-C_{i+1}\left\{A_{i}{\hat {\mathbf {x} }}_{i}+B_{i}\mathbf {u} _{i}\right\}\right),\qquad {\hat {\mathbf {x} }}_{0}=\mathbb {E} [{\mathbf {x} }_{0}]}$,

${\displaystyle \mathbf {u} _{i}=-K_{i}{\hat {\mathbf {x} }}_{i}.\,}$

и соответствует прогнозной оценке . ${\displaystyle {\hat {\mathbf {x} }}_{i}}$ ${\displaystyle {\hat {\mathbf {x} }}_{i}=\mathbb {E} [\mathbf {x} _{i}|\mathbf {y} ^{i},\mathbf {u} ^{i-1}]}$

Коэффициент усиления Калмана равен

${\displaystyle {\mathbf {} }L_{i}=P_{i}C_{i}^{\mathrm {T} }(C_{i}P_{i}C_{i}^{\mathrm {T} }+W_{i})^{-1},}$

где определяется следующим матричным разностным уравнением Риккати, которое выполняется вперед во времени: ${\displaystyle {\mathbf {} }P_{i}}$

${\displaystyle P_{i+1}=A_{i}\left(P_{i}-P_{i}C_{i}^{\mathrm {T} }\left(C_{i}P_{i}C_{i}^{\mathrm {T} }+W_{i}\right)^{-1}C_{i}P_{i}\right)A_{i}^{\mathrm {T} }+V_{i},\qquad P_{0}=\mathbb {E} [\left({\mathbf {x} }_{0}-{\hat {\mathbf {x} }}_{0}\right)\left({\mathbf {x} }_{0}-{\hat {\mathbf {x} }}_{0}\right)^{\mathrm {T} }].}$

Матрица усиления обратной связи равна

${\displaystyle {\mathbf {} }K_{i}=(B_{i}^{\mathrm {T} }S_{i+1}B_{i}+R_{i})^{-1}B_{i}^{\mathrm {T} }S_{i+1}A_{i}}$

где определяется следующим матричным разностным уравнением Риккати, которое выполняется в обратном направлении во времени: ${\displaystyle {\mathbf {} }S_{i}}$

${\displaystyle S_{i}=A_{i}^{\mathrm {T} }\left(S_{i+1}-S_{i+1}B_{i}\left(B_{i}^{\mathrm {T} }S_{i+1}B_{i}+R_{i}\right)^{-1}B_{i}^{\mathrm {T} }S_{i+1}\right)A_{i}+Q_{i},\quad S_{N}=F.}$

Если все матрицы в формулировке задачи инвариантны по времени и если горизонт стремится к бесконечности, то дискретно-временной контроллер LQG становится инвариантным по времени. В этом случае матричные уравнения разности Риккати можно заменить связанными с ними дискретно-временными алгебраическими уравнениями Риккати . Они определяют инвариантную по времени линейно-квадратичную оценку и инвариантный по времени линейно-квадратичную оценку в дискретном времени. Чтобы сохранить конечные затраты вместо нужно рассмотреть в этом случае. ${\displaystyle {\mathbf {} }N}$ ${\displaystyle {\mathbf {} }J}$ ${\displaystyle {\mathbf {} }J/N}$

Смотрите также

• Стохастический контроль
• Контрпример Витсенхаузена

Ссылки

1. Карл Йохан Астром (1970). Введение в теорию стохастического управления . Том 58. Academic Press. ISBN 0-486-44531-3.
2. Андерс Линдквист (1973). «Об управлении с обратной связью линейных стохастических систем». Журнал SIAM по управлению . 11 (2): 323–343. doi :10.1137/0311025..
3. Трифон Т. Георгиу и Андерс Линдквист (2013). «Принцип разделения в стохастическом управлении, Redux». Труды IEEE по автоматическому управлению . 58 (10): 2481–2494. arXiv : 1103.3005 . doi : 10.1109/TAC.2013.2259207. S2CID  12623187.
4. Van Willigenburg LG; De Koning WL (2000). «Численные алгоритмы и вопросы, касающиеся оптимальных проекционных уравнений в дискретном времени». European Journal of Control . 6 (1): 93–100. doi :10.1016/s0947-3580(00)70917-4.Сопутствующее программное обеспечение можно загрузить с Matlab Central.
5. Van Willigenburg LG; De Koning WL (1999). "Оптимальные компенсаторы пониженного порядка для изменяющихся во времени дискретных систем с детерминированными и белыми параметрами". Automatica . 35 : 129–138. doi :10.1016/S0005-1098(98)00138-1.Сопутствующее программное обеспечение можно загрузить с Matlab Central.
6. Zigic D.; Watson LT; Collins EG; Haddad WM; Ying S. (1996). «Гомотопические методы решения оптимальных проекционных уравнений для задачи модели пониженного порядка H2». International Journal of Control . 56 (1): 173–191. doi :10.1080/00207179208934308.
7. Коллинз-младший EG; Хаддад WM; Ин С. (1996). «Алгоритм гомотопии для динамической компенсации пониженного порядка с использованием оптимальных проекционных уравнений Хайленда-Бернштейна». Журнал руководства, управления и динамики . 19 (2): 407–417. doi :10.2514/3.21633.
8. Хайленд Д.К.; Бернстайн Д.С. (1984). «Оптимальные проекционные уравнения для динамической компенсации фиксированного порядка» (PDF) . IEEE Transactions on Automatic Control . AC-29 (11): 1034–1037. doi :10.1109/TAC.1984.1103418. hdl : 2027.42/57875 .
9. Bernstein DS; Davis LD; Hyland DC (1986). "Оптимальные проекционные уравнения для оценки и управления дискретным моделированием пониженного порядка" (PDF) . Journal of Guidance, Control, and Dynamics . 9 (3): 288–293. Bibcode :1986JGCD....9..288B. doi :10.2514/3.20105. hdl : 2027.42/57880 .
10. Дойл, Джон К. (1978). «Гарантированные маржи для регуляторов LQG» (PDF) . IEEE Transactions on Automatic Control . 23 (4): 756–757. doi :10.1109/TAC.1978.1101812. ISSN  0018-9286.
11. Грин, Майкл; Лаймбир, Дэвид Дж. Н. (1995). Линейное надежное управление. Englewood Cliffs: Prentice Hall. стр. 27. ISBN 0-13-102278-4.
12. Мацакис, Деметриос (8 марта 2019 г.). «Влияние стратегий пропорционального управления на поведение контролируемых часов». Metrologia . 56 (2): 025007. Bibcode :2019Metro..56b5007M. doi : 10.1088/1681-7575/ab0614 .
13. Атанс М. (1971). «Роль и использование стохастической линейно-квадратично-гауссовой задачи в проектировании систем управления». Труды IEEE по автоматическому управлению . AC-16 (6): 529–552. doi :10.1109/TAC.1971.1099818.

Дальнейшее чтение

• Стенгель, Роберт Ф. (1994). Оптимальное управление и оценка. Нью-Йорк: Довер. ISBN 0-486-68200-5.