Ассимиляция данных — это математическая дисциплина, которая стремится оптимально объединить теорию (обычно в форме числовой модели) с наблюдениями. Может быть несколько различных целей, например, определить оптимальную оценку состояния системы, определить начальные условия для числовой модели прогноза, интерполировать разреженные данные наблюдений с использованием (например, физических) знаний о наблюдаемой системе, установить числовые параметры на основе обучения модели на основе наблюдаемых данных. В зависимости от цели могут использоваться различные методы решения. Ассимиляция данных отличается от других форм машинного обучения, анализа изображений и статистических методов тем, что она использует динамическую модель анализируемой системы.
Усвоение данных изначально разрабатывалось в области численного прогнозирования погоды . Численные модели прогнозирования погоды представляют собой уравнения, описывающие динамическое поведение атмосферы, обычно закодированные в компьютерной программе. Для того чтобы использовать эти модели для составления прогнозов, необходимы начальные условия для модели, которые максимально напоминают текущее состояние атмосферы. Простая вставка точечных измерений в численные модели не дала удовлетворительного решения. Реальные измерения содержат ошибки как из-за качества инструмента, так и из-за того, насколько точно известно положение измерения. Эти ошибки могут вызывать нестабильность в моделях, что исключает любой уровень мастерства в прогнозе. Таким образом, для инициализации модели с использованием всех доступных данных, обеспечивая при этом сохранение стабильности в численной модели, требовались более сложные методы. Такие данные обычно включают измерения, а также предыдущий прогноз, действительный в то же время, когда производятся измерения. При итеративном применении этот процесс начинает накапливать информацию из прошлых наблюдений во всех последующих прогнозах.
Поскольку ассимиляция данных возникла из области численного прогнозирования погоды, она изначально приобрела популярность среди наук о Земле. Фактически, одна из наиболее цитируемых публикаций во всех науках о Земле — это применение ассимиляции данных для реконструкции наблюдаемой истории атмосферы. [1]
Классически ассимиляция данных применялась к хаотическим динамическим системам, которые слишком сложно предсказать с помощью простых методов экстраполяции. Причина этой трудности в том, что небольшие изменения начальных условий могут привести к большим изменениям точности прогнозирования. Иногда это называют эффектом бабочки — чувствительной зависимостью от начальных условий , при которой небольшое изменение в одном состоянии детерминированной нелинейной системы может привести к большим различиям в более позднем состоянии.
В любое время обновления ассимиляция данных обычно берет прогноз (также известный как первая догадка или фоновая информация) и применяет к прогнозу поправку на основе набора наблюдаемых данных и предполагаемых ошибок, которые присутствуют как в наблюдениях, так и в самом прогнозе. Разница между прогнозом и наблюдениями в это время называется отклонением или инновацией ( поскольку она предоставляет новую информацию для процесса ассимиляции данных). Весовой коэффициент применяется к инновациям, чтобы определить, какая часть коррекции должна быть сделана в прогнозе на основе новой информации из наблюдений. Лучшая оценка состояния системы на основе поправки к прогнозу, определенной весовым коэффициентом, умноженным на инновацию, называется анализом . В одном измерении вычисление анализа может быть таким же простым, как формирование взвешенного среднего прогнозируемого и наблюдаемого значения. В нескольких измерениях проблема становится более сложной. Большая часть работы по ассимиляции данных сосредоточена на адекватной оценке соответствующего весового коэффициента на основе сложного знания ошибок в системе.
Измерения обычно проводятся на основе реальной системы, а не неполного представления этой системы моделью, поэтому для преобразования смоделированной переменной в форму, которую можно напрямую сравнить с наблюдением, необходима специальная функция, называемая оператором наблюдения (обычно обозначаемая как h() для нелинейного оператора или H для его линеаризации).
Одной из распространенных математических философских точек зрения является рассмотрение усвоения данных как проблемы байесовской оценки. С этой точки зрения этап анализа является применением теоремы Байеса , а общая процедура усвоения является примером рекурсивной байесовской оценки . Однако вероятностный анализ обычно упрощается до вычислительно осуществимой формы. Продвижение распределения вероятностей во времени в общем случае было бы выполнено точно с помощью уравнения Фоккера–Планка , но это невыполнимо для многомерных систем; поэтому вместо этого используются различные приближения, работающие на упрощенных представлениях распределений вероятностей. Часто распределения вероятностей предполагаются гауссовыми , так что их можно представить их средним значением и ковариацией, что приводит к фильтру Калмана .
Многие методы представляют распределения вероятностей только средним значением и вводят некоторую предварительно рассчитанную ковариацию. Пример прямого (или последовательного ) метода для вычисления этого называется оптимальной статистической интерполяцией или просто оптимальной интерполяцией ( OI ). Альтернативный подход заключается в итеративном решении функции стоимости, которая решает идентичную задачу. Они называются вариационными методами, такими как 3D-Var и 4D-Var. Типичными алгоритмами минимизации являются метод сопряженных градиентов или обобщенный метод минимального остатка . Ансамблевой фильтр Калмана — это последовательный метод, который использует подход Монте-Карло для оценки как среднего значения, так и ковариации гауссовского распределения вероятностей с помощью ансамбля симуляций. В последнее время все большую популярность приобрели гибридные комбинации ансамблевых подходов и вариационных методов (например, они используются для оперативных прогнозов как в Европейском центре среднесрочных прогнозов погоды (ECMWF), так и в Национальных центрах прогнозирования окружающей среды NOAA (NCEP).
Усвоение данных также может быть достигнуто в цикле обновления модели, где мы будем итерировать начальную модель (или начальное предположение) в цикле оптимизации, чтобы ограничить модель наблюдаемыми данными. Существует множество подходов к оптимизации, и все они могут быть настроены для обновления модели, например, эволюционный алгоритм доказал свою эффективность, поскольку не содержит гипотез, но является вычислительно дорогим.
В приложениях численного прогнозирования погоды ассимиляция данных наиболее широко известна как метод объединения наблюдений метеорологических переменных, таких как температура и атмосферное давление , с предыдущими прогнозами с целью инициализации моделей численного прогнозирования.
Атмосфера — это жидкость . Идея численного прогнозирования погоды заключается в том, чтобы взять образец состояния жидкости в определенный момент времени и использовать уравнения динамики жидкости и термодинамики для оценки состояния жидкости в определенный момент времени в будущем. Процесс ввода данных наблюдений в модель для создания начальных условий называется инициализацией . На суше карты рельефа, доступные с разрешением до 1 километра (0,6 мили) по всему миру, используются для моделирования атмосферных циркуляций в регионах с неровной топографией, чтобы лучше отображать такие особенности, как нисходящие ветры, горные волны и связанная с ними облачность, которая влияет на поступающее солнечное излучение. [2] Основными входными данными от метеорологических служб стран являются наблюдения с устройств (называемых радиозондами ) на метеорологических шарах, которые измеряют различные параметры атмосферы и передают их на стационарный приемник, а также с метеорологических спутников . Всемирная метеорологическая организация действует для стандартизации приборов, методов наблюдения и сроков этих наблюдений во всем мире. Станции либо ежечасно сообщают в отчетах METAR , [3] либо каждые шесть часов в отчетах SYNOP . [4] Эти наблюдения неравномерно распределены, поэтому они обрабатываются методами усвоения данных и объективного анализа, которые выполняют контроль качества и получают значения в местах, пригодных для использования математическими алгоритмами модели. [5] Некоторые глобальные модели используют конечные разности , в которых мир представлен в виде дискретных точек на регулярной сетке широты и долготы; [6] другие модели используют спектральные методы , которые решают для диапазона длин волн. Затем данные используются в модели в качестве отправной точки для прогноза. [7]
Для сбора данных наблюдений для использования в числовых моделях используются различные методы. Сайты запускают радиозонды на метеорологических шарах, которые поднимаются через тропосферу и далеко в стратосферу . [8] Информация с метеорологических спутников используется там, где недоступны традиционные источники данных. Commerce предоставляет отчеты пилотов по маршрутам самолетов [9] и отчеты судов по маршрутам судоходства. [10] Исследовательские проекты используют разведывательные самолеты для полетов в и вокруг интересующих погодных систем, таких как тропические циклоны . [11] [12] Разведывательные самолеты также летают над открытым океаном в холодное время года в системы, которые вызывают значительную неопределенность в прогнозировании или, как ожидается, окажут сильное воздействие в течение трех-семи дней в будущем на континенте ниже по течению. [13] Морской лед начал инициализироваться в моделях прогнозирования в 1971 году. [14] Попытки включить температуру поверхности моря в инициализацию модели начались в 1972 году из-за ее роли в модулировании погоды в более высоких широтах Тихого океана. [15]
В 1922 году Льюис Фрай Ричардсон опубликовал первую попытку численного прогнозирования погоды. Используя гидростатическую вариацию примитивных уравнений Бьеркнеса , [16] Ричардсон вручную составил 6-часовой прогноз состояния атмосферы над двумя точками в Центральной Европе, потратив на это не менее шести недель. [17] Его прогноз рассчитал, что изменение приземного давления составит 145 миллибар (4,3 дюйма рт. ст. ), нереалистичное значение, неверное на два порядка. Большая ошибка была вызвана дисбалансом в полях давления и скорости ветра, используемых в качестве начальных условий в его анализе, [16] что указывает на необходимость схемы усвоения данных.
Первоначально использовался «субъективный анализ», в котором прогнозы численного прогнозирования погоды (ЧПП) корректировались метеорологами с использованием их оперативного опыта. Затем был введен «объективный анализ» (например, алгоритм Крессмана) для автоматизированного усвоения данных. Эти объективные методы использовали простые подходы интерполяции, и поэтому [ почему? ] были методами 3DDA (трехмерного усвоения данных).
Позже были разработаны методы 4DDA (четырехмерной ассимиляции данных), называемые «подталкиванием», например, в модели MM5 . Они основаны на простой идее ньютоновской релаксации (вторая аксиома Ньютона). Они вводят в правую часть динамических уравнений модели член, пропорциональный разнице вычисленной метеорологической переменной и наблюдаемого значения. Этот член, имеющий отрицательный знак, удерживает вычисленный вектор состояния ближе к наблюдениям. Подталкивание можно интерпретировать как вариант фильтра Калмана-Бьюси (непрерывная во времени версия фильтра Калмана ) с предписанной матрицей усиления, а не полученной из ковариаций. [ необходима цитата ]
Значительное развитие было достигнуто Л. Гандином (1963), который представил метод «статистической интерполяции» (или «оптимальной интерполяции»), который развил более ранние идеи Колмогорова. Это метод 3DDA и тип регрессионного анализа , который использует информацию о пространственном распределении ковариационных функций ошибок поля «первого предположения» (предыдущего прогноза) и «истинного поля». Эти функции никогда не известны. Однако предполагались различные приближения. [ необходима цитата ]
Оптимальный алгоритм интерполяции представляет собой сокращенную версию алгоритма фильтрации Калмана (КФ), в котором ковариационные матрицы не вычисляются из динамических уравнений, а определяются заранее.
Попытки внедрить алгоритмы KF в качестве инструмента 4DDA для моделей NWP появились позже. Однако это было (и остается) сложной задачей, поскольку полная версия требует решения огромного количества дополнительных уравнений (~N*N~10**12, где N=Nx*Ny*Nz — размер вектора состояния, Nx~100, Ny~100, Nz~100 — размеры вычислительной сетки). Чтобы преодолеть эту трудность, были разработаны приближенные или субоптимальные фильтры Калмана. К ним относятся фильтр ансамбля Калмана и фильтры Калмана с пониженным рангом (RRSQRT). [18]
Другим значительным шагом вперед в развитии методов 4DDA стало использование теории оптимального управления (вариационного подхода) в работах Le Dimet и Talagrand (1986), основанных на более ранних работах J.-L. Lions и G. Marchuk, последний был первым, кто применил эту теорию в моделировании окружающей среды. Существенным преимуществом вариационных подходов является то, что метеорологические поля удовлетворяют динамическим уравнениям модели ЧПП и в то же время минимизируют функционал, характеризующий их отличие от наблюдений. Таким образом, решается задача ограниченной минимизации. Вариационные методы 3DDA были впервые разработаны Sasaki (1958).
Как показал Лоренц (1986), все вышеупомянутые методы 4DDA в некотором пределе эквивалентны, т. е. при некоторых предположениях они минимизируют одну и ту же функцию стоимости . Однако в практических приложениях эти предположения никогда не выполняются, разные методы работают по-разному, и, как правило, неясно, какой подход (фильтрация Калмана или вариационный) лучше. Фундаментальные вопросы также возникают при применении передовых методов DA, таких как сходимость вычислительного метода к глобальному минимуму минимизируемого функционала. Например, функция стоимости или множество, в котором ищется решение, могут быть невыпуклыми. Метод 4DDA, который в настоящее время является наиболее успешным [19] [20], представляет собой гибридный инкрементный 4D-Var, где ансамбль используется для увеличения климатологических фоновых ковариаций ошибок в начале временного окна усвоения данных, но фоновые ковариации ошибок развиваются в течение временного окна с помощью упрощенной версии модели прогноза ЧПП. Этот метод усвоения данных используется оперативно в центрах прогнозирования, таких как Метеорологическое бюро . [21] [22]
Процесс создания анализа при усвоении данных часто включает минимизацию функции стоимости . Типичная функция стоимости будет суммой квадратов отклонений значений анализа от наблюдений, взвешенных по точности наблюдений, плюс сумма квадратов отклонений полей прогноза и проанализированных полей, взвешенных по точности прогноза. Это гарантирует, что анализ не будет слишком далеко отходить от наблюдений и прогнозов, которые, как известно, обычно надежны. [ необходима цитата ]
где обозначает ковариацию фоновой ошибки, ковариацию наблюдательной ошибки.
при условии, что — линейный оператор (матрица).
Факторы, способствующие быстрому развитию методов усвоения данных для моделей ЧПП, включают в себя:
Усвоение данных использовалось в 1980-х и 1990-х годах в нескольких проектах HAPEX (Hydrologic and Atmospheric Pilot Experiment) для мониторинга передачи энергии между почвой, растительностью и атмосферой. Например:
- HAPEX-MobilHy, [24] HAPEX-Сахель, [25]
- эксперимент "Alpilles-ReSeDA" (ассимиляция данных дистанционного зондирования) [26] [27] европейский проект в программе FP4-ENV [28] , который проводился в регионе Альпий на юго-востоке Франции (1996–97). Диаграмма блок-схемы (справа), взятая из окончательного отчета этого проекта, [23] показывает, как вывести интересующие переменные, такие как состояние полога, потоки излучения, экологический бюджет, производство по количеству и качеству, из данных дистанционного зондирования и вспомогательной информации. На этой диаграмме маленькие сине-зеленые стрелки указывают прямой путь, по которому фактически работают модели. [ необходима цитата ] [29]
Методы ассимиляции данных в настоящее время также используются в других задачах прогнозирования окружающей среды, например, в гидрологическом и гидрогеологическом прогнозировании. [30] Байесовские сети также могут использоваться в подходе ассимиляции данных для оценки природных опасностей, таких как оползни. [31]
Учитывая обилие данных космических аппаратов для других планет солнечной системы, ассимиляция данных теперь также применяется за пределами Земли для получения повторных анализов состояния атмосферы внеземных планет. Марс является единственной внеземной планетой, к которой до сих пор применялась ассимиляция данных. Доступные данные космических аппаратов включают, в частности, извлечение температуры и оптической толщины пыли/воды/льда из спектрометра термического излучения на борту Mars Global Surveyor NASA и Mars Climate Sounder на борту Mars Reconnaissance Orbiter NASA . К этим наборам данных были применены два метода ассимиляции данных: схема Analysis Correction [32] и две схемы Ensemble Kalman Filter [33] [34], обе из которых используют модель глобальной циркуляции марсианской атмосферы в качестве прямой модели. Набор данных Mars Analysis Correction Data Assimilation (MACDA) находится в открытом доступе в Британском центре атмосферных данных. [35]
Усвоение данных является частью задачи любого прогнозирования.
Работа с предвзятыми данными является серьезной проблемой в усвоении данных. Дальнейшая разработка методов работы с предвзятостью будет особенно полезна. Если есть несколько инструментов, наблюдающих за одной и той же переменной, то их взаимное сравнение с использованием функций распределения вероятностей может быть поучительным. [ необходима цитата ]
Численные модели прогнозирования становятся более высокого разрешения из-за увеличения вычислительной мощности , при этом оперативные атмосферные модели теперь работают с горизонтальным разрешением порядка 1 км (например, в Немецкой национальной метеорологической службе, Deutscher Wetterdienst ( DWD ) и Met Office в Великобритании). Это увеличение горизонтального разрешения начинает позволять разрешать более хаотичные особенности нелинейных моделей, например, разрешать конвекцию в масштабе сетки или облака в атмосферных моделях. Эта растущая нелинейность в моделях и операторах наблюдений создает новую проблему в усвоении данных. Существующие методы усвоения данных, такие как многочисленные варианты ансамблевых фильтров Калмана и вариационные методы, хорошо зарекомендовавшие себя с линейными или почти линейными моделями, оцениваются на нелинейных моделях.
Разрабатывается много новых методов, например, фильтры частиц для многомерных задач и гибридные методы ассимиляции данных. [36]
Другие области применения включают оценку траектории для программы «Аполлон» , GPS и химию атмосферы .
{{cite web}}
: CS1 maint: числовые имена: список авторов ( ссылка ){{cite journal}}
: Цитировать журнал требует |journal=
( помощь ){{cite book}}
: |journal=
проигнорировано ( помощь )Примеры того, как вариационная ассимиляция применяется в прогнозировании погоды:
{{cite book}}
: |work=
проигнорировано ( помощь )Другие примеры ассимиляции: