Backtesting — это термин, используемый в моделировании для обозначения тестирования предиктивной модели на исторических данных. Backtesting — это тип ретроспекции и особый тип перекрестной проверки, применяемый к предыдущим периодам времени.
В экономической и финансовой сфере бэктестинг стремится оценить эффективность стратегии или модели, если бы она использовалась в течение прошлого периода. Это требует моделирования прошлых условий с достаточной степенью детализации, что делает одним из ограничений бэктестинга необходимость в подробных исторических данных. Вторым ограничением является невозможность моделировать стратегии, которые могли бы повлиять на исторические цены. Наконец, бэктестинг, как и другие виды моделирования, ограничен потенциальным переобучением . То есть часто можно найти стратегию, которая хорошо работала бы в прошлом, но не будет хорошо работать в будущем. [1] Несмотря на эти ограничения, бэктестинг предоставляет информацию, недоступную при тестировании моделей и стратегий на синтетических данных.
Исторически бэктестинг выполнялся только крупными учреждениями и профессиональными управляющими финансами из-за расходов на получение и использование подробных наборов данных. Однако бэктестинг все чаще используется на более широкой основе, и появились независимые веб-платформы бэктестинга. Хотя эта техника широко используется, она подвержена недостаткам. [2] Базельские финансовые правила требуют от крупных финансовых учреждений бэктестинга определенных моделей риска.
Для значения Value at Risk 1-day при 99%, протестированного на исторических данных в течение 250 дней подряд, тест считается зеленым (0-95%), оранжевым (95-99,99%) или красным (99,99-100%) в зависимости от следующей таблицы: [3]
Для 10-дневной стоимости под риском при 99%, прошедшей бэктестинг в течение 250 дней подряд, тест считается зеленым (0–95%), оранжевым (95–99,99%) или красным (99,99–100%) в зависимости от следующей таблицы:
В океанографии [5] и метеорологии [6] бэктестинг также известен как ретроспективный анализ : ретроспективный анализ — это способ тестирования математической модели ; исследователи вводят в модель известные или приблизительно оцененные входные данные для прошлых событий, чтобы увидеть , насколько хорошо выходные данные соответствуют известным результатам.
Ретроспективный анализ обычно относится к численной интеграции модели исторического периода, в котором не было ассимилировано никаких наблюдений . Это отличает ретроспективный анализ от повторного анализа . Океанографические наблюдения солености и температуры , а также наблюдения за параметрами поверхностных волн , такими как значительная высота волны , встречаются гораздо реже, чем метеорологические наблюдения, что делает ретроспективный анализ более распространенным в океанографии, чем в метеорологии. Кроме того, поскольку поверхностные волны представляют собой вынужденную систему, где ветер является единственной генерирующей силой, ретроспективный анализ волн часто считается достаточным для создания разумного представления волнового климата с небольшой необходимостью в полном повторном анализе. Гидрологи используют ретроспективный анализ для моделирования потоков рек. [7]
Примером ретроспективного прогнозирования может быть ввод климатических воздействий (событий, которые вызывают изменения) в климатическую модель . Если ретроспективное прогнозирование показало достаточно точную реакцию климата, модель будет считаться успешной.
Повторный анализ ECMWF является примером комбинированного атмосферного повторного анализа в сочетании с интеграцией волновой модели, в которой не учитывались никакие волновые параметры, что делает волновую часть ретроспективным прогнозом.
{{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка ) CS1 maint: числовые имена: список авторов ( ссылка )