Ограниченные наименьшие квадраты

В ограниченном методе наименьших квадратов решается линейная задача наименьших квадратов с дополнительным ограничением на решение. ^{[1] [2]} Это означает, что неограниченное уравнение должно быть подогнано как можно точнее (в смысле наименьших квадратов), при этом гарантируя сохранение некоторых других свойств . ${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} }$ ${\displaystyle {\boldsymbol {\beta }}}$

Часто существуют специальные алгоритмы для эффективного решения таких задач. Ниже приведены некоторые примеры ограничений:

• Метод наименьших квадратов с ограничением равенства : элементы должны точно удовлетворять (см. Обычный метод наименьших квадратов ). ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \mathbf {L} {\boldsymbol {\beta }}=\mathbf {d} }$
• Стохастические (линейно) ограниченные наименьшие квадраты: элементы должны удовлетворять , где — вектор случайных величин, такой что и . Это фактически накладывает априорное распределение для и, следовательно, эквивалентно байесовской линейной регрессии . ^[3] ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \mathbf {L} {\boldsymbol {\beta }}=\mathbf {d} +\mathbf {\nu } }$ ${\displaystyle \mathbf {\nu } }$ ${\displaystyle \operatorname {E} (\mathbf {\nu } )=\mathbf {0} }$ ${\displaystyle \operatorname {E} (\mathbf {\nu } \mathbf {\nu } ^{\rm {T}})=\tau ^{2}\mathbf {I} }$ ${\displaystyle {\boldsymbol {\beta }}}$
• Регуляризованный метод наименьших квадратов: элементы должны удовлетворять (выбор пропорционально стандартному отклонению шума y предотвращает переобучение). ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \|\mathbf {L} {\boldsymbol {\beta }}-\mathbf {y} \|\leq \alpha }$ ${\displaystyle \alpha }$
• Неотрицательные наименьшие квадраты (NNLS): Вектор должен удовлетворять векторному неравенству, определенному покомпонентно, то есть каждый компонент должен быть либо положительным, либо нулевым. ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle {\boldsymbol {\beta }}\geq {\boldsymbol {0}}}$
• Метод наименьших квадратов с ограничениями по ящику: Вектор должен удовлетворять векторным неравенствам , каждое из которых определяется покомпонентно. ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle {\boldsymbol {b}}_{\ell }\leq {\boldsymbol {\beta }}\leq {\boldsymbol {b}}_{u}}$
• Метод наименьших квадратов с целочисленными ограничениями: все элементы должны быть целыми числами (а не действительными числами ). ${\displaystyle {\boldsymbol {\beta }}}$
• Метод наименьших квадратов с ограничением по фазе: все элементы должны быть действительными числами или умножаться на одно и то же комплексное число единичного модуля. ${\displaystyle {\boldsymbol {\beta }}}$

Если ограничение применяется только к некоторым переменным, смешанную задачу можно решить с помощью разделяемых наименьших квадратов ^[4] , позволяя и представлять неограниченные (1) и ограниченные (2) компоненты. Затем подставляя решение наименьших квадратов для , т.е. ${\displaystyle \mathbf {X} =[\mathbf {X_{1}} \mathbf {X_{2}} ]}$ ${\displaystyle \mathbf {\beta } ^{\rm {T}}=[\mathbf {\beta _{1}} ^{\rm {T}}\mathbf {\beta _{2}} ^{\rm {T}}]}$ ${\displaystyle \mathbf {\beta _{1}} }$

${\displaystyle {\hat {\boldsymbol {\beta }}}_{1}=\mathbf {X} _{1}^{+}(\mathbf {y} -\mathbf {X} _{2}{\boldsymbol {\beta }}_{2})}$

(где ⁺ обозначает псевдообратную матрицу Мура–Пенроуза ) обратно в исходное выражение, давая (после некоторой перестановки) уравнение, которое можно решить как чисто ограниченную задачу в . ${\displaystyle \mathbf {\beta } _{2}}$

${\displaystyle \mathbf {P} \mathbf {X} _{2}{\boldsymbol {\beta }}_{2}=\mathbf {P} \mathbf {y} ,}$

где — проекционная матрица . После ограниченной оценки вектора получается из выражения выше. ${\displaystyle \mathbf {P} :=\mathbf {I} -\mathbf {X} _{1}\mathbf {X} _{1}^{+}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}_{2}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}_{1}}$

Смотрите также

• Байесовская линейная регрессия
• Ограниченная оптимизация
• Целочисленное программирование

Ссылки

1. Амемия, Такеши (1985). «Модель 1 с линейными ограничениями». Advanced Econometrics . Oxford: Basil Blackwell. стр. 20–26. ISBN 0-631-15583-X.
2. Бойд, Стивен; Ванденберг, Ливен (2018). Введение в прикладную линейную алгебру: векторы, матрицы и наименьшие квадраты. Cambridge University Press. ISBN 978-1-316-51896-0.
3. Fomby, Thomas B.; Hill, R. Carter; Johnson, Stanley R. (1988). «Использование априорной информации». Advanced Econometric Methods (исправленное издание в мягкой обложке). Нью-Йорк: Springer-Verlag. С. 80–121. ISBN 0-387-96868-7.
4. Бьорк, Эйк (1996). "Разделимые и ограниченные задачи". Численные методы решения задач наименьших квадратов . Филадельфия: SIAM. стр. 351. ISBN 0898713609.