Оценка линейного тренда — это статистический метод, используемый для анализа закономерностей данных . Шаблоны данных или тенденции возникают, когда собранная информация «имеет тенденцию» увеличиваться или уменьшаться с течением времени. Оценка линейного тренда по существу создает прямую линию на графике данных , которая моделирует общее направление движения данных .
Учитывая набор данных , существует множество функций , которые можно выбрать для подгонки. Самая простая функция представляет собой прямую линию с зависимой переменной (обычно измеренными данными) на вертикальной оси и независимой переменной (часто временем) на горизонтальной оси.
Подбор методом наименьших квадратов — это распространенный метод, позволяющий провести прямую линию через данные. Этот метод минимизирует сумму квадратов ошибок в ряду данных y . Учитывая набор моментов времени и значений данных , наблюдаемых для этих моментов времени, значения и выбираются так, чтобы минимизировать сумму квадратов ошибок.
Эта формула вычисляет разницу между наблюдаемыми данными ( y t ) и оценкой (\hat{a} t + \hat{b}) . Разница в каждой точке данных возводится в квадрат, а затем суммируется, что дает измерение ошибки «сумма квадратов». Значения и , полученные из данных, параметризуют простую линейную оценку . Термин «тренд» относится к наклону в оценке методом наименьших квадратов.
Если анализируется ряд, который, как известно, является случайным (выпадение справедливых игральных костей или сгенерированные компьютером псевдослучайные числа), и на основе данных строится линия тренда, шансы на то, что оцененный тренд будет точно нулевым, ничтожны. Однако ожидается, что эта тенденция будет небольшой. Если отдельная серия наблюдений генерируется на основе моделирования, в котором используется заданная дисперсия шума, равная наблюдаемой дисперсии интересующего нас ряда данных, и заданной длины (скажем, 100 точек), большое количество таких смоделированных серий (скажем, 100 000 серий). Затем эти 100 000 рядов можно проанализировать индивидуально для расчета предполагаемых тенденций в каждом ряду, и эти результаты устанавливают распределение предполагаемых тенденций, которые следует ожидать на основе таких случайных данных (см. Диаграмму). Такое распределение будет нормальным согласно центральной предельной теореме , за исключением патологических случаев . Теперь можно выбрать уровень статистической достоверности S : типичная достоверность 95%; 99% будут строже, 90% мягче. И можно задать следующий вопрос: каково значение пограничного тренда V , при котором S % трендов будет находиться между − V и +V ?
Вышеописанную процедуру можно заменить проверкой перестановок . Чтобы сгенерировать значения пограничного тренда V и -V, набор из 100 000 сгенерированных серий можно заменить 100 000 сериями, построенными путем случайного перетасовки наблюдаемых рядов данных. Поскольку такой построенный ряд не будет иметь трендов, его можно использовать аналогично смоделированным данным.
Распределение тенденций было рассчитано с помощью моделирования, описанного выше. В простых случаях, таких как нормально распределенный случайный шум, распределение трендов можно точно рассчитать без моделирования.
Диапазон (-V, V) можно использовать, чтобы решить, маловероятно ли, что тенденция, оцененная на основе фактических данных, возникла из ряда данных, которые действительно имеют нулевую тенденцию. Если расчетное значение параметра регрессии лежит вне этого диапазона, то такой результат мог бы иметь место при наличии истинного нулевого тренда только, например, в одном случае из двадцати, если бы использовалось значение достоверности S = 95%. В этом случае можно сказать, что при степени уверенности S мы отвергаем нулевую гипотезу о том, что истинная основная тенденция равна нулю.
Однако обратите внимание, что какое бы значение S ни было выбрано, объявляется 1-S, и будет сделан вывод о том, что действительно случайный ряд (ложно, по построению) имеет значительную тенденцию. И наоборот, определенная часть рядов, имеющих ненулевой тренд, не будет объявлена имеющей тренд.
Чтобы проанализировать (временной) ряд данных, можно предположить, что он может быть представлен как тренд плюс шум:
где и – неизвестные константы, а – случайно распределенные ошибки . Если можно отвергнуть нулевую гипотезу о том, что ошибки нестационарны , то нестационарный ряд { y t } называется тренд-стационарным . Метод наименьших квадратов предполагает, что ошибки независимо распределяются с помощью нормального распределения. Если это не так, проверка гипотез о неизвестных параметрах a и b может быть неточной. Проще всего, если все имеют одинаковое распределение, но если нет (если некоторые из них имеют более высокую дисперсию , что означает, что эти точки данных фактически менее надежны), то это можно принять во внимание во время подбора методом наименьших квадратов, взвешивая каждую точку, обратную дисперсии этой точки.
Обычно, когда для анализа существует только один временной ряд, дисперсия оценивается путем подбора тренда для получения оцененных значений параметров и, таким образом, позволяет получить прогнозируемые значения.
вычитаться из данных (таким образом, удаляя тренд из данных), оставляя остатки в качестве данных без тренда и оценивая дисперсию 's из остатков - часто это единственный способ оценить дисперсию 's.
Как только «шум» ряда известен, значимость тренда можно оценить, выдвинув нулевую гипотезу о том, что тренд не отличается от 0. Из приведенного выше обсуждения тенденций в случайных данных с известной дисперсией распределение рассчитанных трендов следует ожидать на основе случайных (бестрендовых) данных. Если предполагаемый тренд превышает критическое значение для определенного уровня значимости , то расчетный тренд считается существенно отличающимся от нуля на этом уровне значимости, а нулевая гипотеза о нулевом основном тренде отклоняется.
Использование линейной линии тренда было предметом критики, что привело к поиску альтернативных подходов, позволяющих избежать ее использования при оценке модели. Один из альтернативных подходов включает тесты единичного корня и метод коинтеграции в эконометрических исследованиях.
Оценочный коэффициент, связанный с такой переменной линейного тренда, как время, интерпретируется как мера воздействия ряда неизвестных или известных, но неизмеримых факторов на зависимую переменную за одну единицу времени. Строго говоря, эта интерпретация применима только для временного интервала оценки. За пределами этих временных рамок невозможно определить, как эти неизмеримые факторы ведут себя как качественно, так и количественно.
Результаты исследований математиков, статистиков, эконометриков и экономистов были опубликованы в ответ на эти вопросы. Например, подробные примечания о значении линейных временных тенденций в регрессионной модели даны у Кэмерона (2005); [1] Грейнджер, Энгл и многие другие специалисты по эконометрике писали о стационарности, тестировании единичных корней, коинтеграции и связанных с ними вопросах (краткое изложение некоторых работ в этой области можно найти в информационном документе [2] автора Шведская королевская академия наук (2003 г.), а также Хо-Триу и Такер (1990 г.) написали о логарифмических временных тенденциях, и результаты показали, что линейные временные тенденции являются особыми случаями циклов .
Труднее увидеть тенденцию в зашумленном временном ряду. Например, если истинный ряд равен 0, 1, 2, 3, плюс некоторый независимый нормально распределенный «шум» e стандартного отклонения E и задан выборочный ряд длиной 50, то если E = 0,1, тренд будет быть очевидным; если E = 100, вероятно, тренд будет виден; но если E = 10000, тренд будет погребен в шуме.
Рассмотрим конкретный пример, такой как глобальный рекорд приземной температуры за последние 140 лет, представленный МГЭИК . [3] Межгодовые колебания составляют около 0,2 °C, а тренд составляет около 0,6 °C за 140 лет, с 95% доверительным интервалом 0,2 °C (по совпадению, примерно того же значения, что и межгодовые колебания). Следовательно, тенденция статистически отличается от 0. Однако, как отмечено в другом месте. [4] Этот временной ряд не соответствует предположениям, необходимым для справедливости метода наименьших квадратов.
Процесс аппроксимации методом наименьших квадратов дает значение r-квадрат ( r 2 ), которое равно 1 минус отношение дисперсии остатков к дисперсии зависимой переменной. Он говорит, какая доля дисперсии данных объясняется подобранной линией тренда. Это не имеет отношения к статистической значимости линии тренда (см. график); статистическая значимость тренда определяется его t-статистикой . Часто фильтрация ряда увеличивает r 2 , практически не внося изменений в подобранный тренд.
До сих пор предполагалось, что данные состоят из тренда и шума, причем шум в каждой точке данных является независимыми и одинаково распределенными случайными величинами с нормальным распределением. Реальные данные (например, климатические данные) могут не соответствовать этим критериям. Это важно, поскольку это имеет огромное значение для простоты анализа статистики с целью извлечения максимальной информации из рядов данных. Если существуют другие нелинейные эффекты, которые коррелируют с независимой переменной (например, циклические влияния), использование оценки тренда методом наименьших квадратов недопустимо. Кроме того, если вариации значительно превышают результирующий прямолинейный тренд, выбор начальной и конечной точек может существенно изменить результат. То есть модель математически неверно определена . Статистические выводы (тесты на наличие тенденции, доверительные интервалы тенденции и т. д.) недействительны, если отклонения от стандартных предположений не учтены должным образом, например, следующим образом:
В R линейный тренд данных можно оценить с помощью функции «tslm» пакета «прогноз».
Медицинские и биомедицинские исследования часто направлены на определение связи между наборами данных, например (как указано выше) тремя различными заболеваниями. Но данные также могут быть связаны во времени (например, изменение эффекта препарата от исходного уровня до месяца 1, месяца 2) или внешним фактором, который может определяться или не определяться исследователем и/или его субъектом. (например, отсутствие боли, легкая боль, умеренная боль или сильная боль). В этих случаях можно было бы ожидать, что статистика теста на эффект (например, влияние статина на уровень холестерина , анальгетика на степень боли или увеличение дозы лекарства на измеримый показатель) будет меняться в прямом порядке по мере того, как эффект развивается. Предположим, что средний уровень холестерина до и после назначения статина падает с 5,6 ммоль/л в начале исследования до 3,4 ммоль/л через один месяц и до 3,7 ммоль/л через два месяца. При достаточной мощности ANOVA (дисперсионный анализ), скорее всего, обнаружит значительное падение через один и два месяца, но это падение не является линейным. Кроме того, может потребоваться апостериорный тест. Альтернативным тестом может быть повторение измерений (двусторонний) ANOVA или критерий Фридмана , в зависимости от характера данных. Тем не менее, поскольку группы упорядочены, стандартный дисперсионный анализ не подходит. Если уровень холестерина упадет с 5,4 до 4,1 и до 3,7, то будет наблюдаться четкая линейная тенденция. Тот же принцип можно применить к эффектам частоты аллелей/генотипов , где можно утверждать, что SNP в нуклеотидах XX, XY, YY на самом деле представляют собой тенденцию отсутствия Y, одного Y, а затем двух Y. [3]
Математика оценки линейного тренда представляет собой вариант стандартного дисперсионного анализа, дающий различную информацию, и будет наиболее подходящим тестом, если исследователи выдвинут гипотезу о влиянии тренда в своей тестовой статистике. Одним из примеров являются уровни трипсина в сыворотке в шести группах субъектов, упорядоченных по десятилетиям возраста (от 10–19 лет до 60–69 лет). Уровни трипсина (нг/мл) повышаются по прямой линейной тенденции: 128, 152, 194, 207, 215, 218. Неудивительно, что «стандартный» дисперсионный анализ дает p < 0,0001, тогда как оценка линейной тенденции дает p = 0,00006. Между прочим, можно обоснованно утверждать, что, поскольку возраст является естественным непрерывно изменяющимся показателем, его не следует разбивать на десятилетия, а влияние возраста и уровня трипсина в сыворотке ищут путем корреляции (при условии, что исходные данные доступны). Еще одним примером является вещество, измеренное в четырех временных точках в разных группах:
Это явная тенденция. ANOVA дает p = 0,091, поскольку общая дисперсия превышает средние значения, тогда как оценка линейного тренда дает p = 0,012. Однако, если бы данные были собраны в четырех временных точках у одних и тех же людей, оценка линейного тренда была бы неуместной, и был бы применен двусторонний (повторяющиеся измерения) ANOVA.
![{\displaystyle \sum _{t}\left[y_{t}-\left({\hat {a}}t+{\hat {b}}\right)\right]^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d57819fabc7f512ea8180bedf6758dfafead0d88)
