Линейный дискриминантный анализ

Method used in statistics, pattern recognition, and other fields

Линейный дискриминантный анализ на двумерном пространстве с двумя классами. Граница Байеса рассчитывается на основе истинных параметров генерации данных, предполагаемая граница — на реализованных точках данных. ^[1]

Линейный дискриминантный анализ ( LDA ), нормальный дискриминантный анализ ( NDA ) или анализ дискриминантной функции — это обобщение линейного дискриминанта Фишера , метода, используемого в статистике и других областях для нахождения линейной комбинации признаков, характеризующей или разделяющей два или более классов объектов или событий. Полученная комбинация может использоваться в качестве линейного классификатора или, что более распространено, для снижения размерности перед последующей классификацией .

LDA тесно связан с дисперсионным анализом (ANOVA) и регрессионным анализом , которые также пытаются выразить одну зависимую переменную как линейную комбинацию других признаков или измерений. ^{[2] [3]} Однако ANOVA использует категориальные независимые переменные и непрерывную зависимую переменную , тогда как дискриминантный анализ имеет непрерывные независимые переменные и категориальную зависимую переменную ( т. е. метку класса). ^[4] Логистическая регрессия и пробит-регрессия больше похожи на LDA, чем ANOVA, поскольку они также объясняют категориальную переменную значениями непрерывных независимых переменных. Эти другие методы предпочтительны в приложениях, где неразумно предполагать, что независимые переменные распределены нормально, что является фундаментальным предположением метода LDA.

LDA также тесно связан с анализом главных компонент (PCA) и факторным анализом , поскольку они оба ищут линейные комбинации переменных, которые наилучшим образом объясняют данные. ^[5] LDA явно пытается моделировать разницу между классами данных. PCA, напротив, не учитывает никаких различий в классе, а факторный анализ строит комбинации признаков на основе различий, а не сходств. Дискриминантный анализ также отличается от факторного анализа тем, что он не является методом взаимозависимости: необходимо проводить различие между независимыми переменными и зависимыми переменными (также называемыми критериальными переменными).

LDA работает, когда измерения, сделанные на независимых переменных для каждого наблюдения, являются непрерывными величинами. При работе с категориальными независимыми переменными эквивалентным методом является дискриминантный анализ соответствий. ^{[6] [7]}

Дискриминантный анализ используется, когда группы известны априори (в отличие от кластерного анализа ). Каждый случай должен иметь оценку по одному или нескольким количественным предикторным показателям и оценку по групповому показателю. ^[8] Проще говоря, анализ дискриминантной функции — это классификация — процесс распределения вещей по группам, классам или категориям одного типа.

История

Первоначальный дихотомический дискриминантный анализ был разработан сэром Рональдом Фишером в 1936 году. ^[9] Он отличается от ANOVA или MANOVA , которые используются для прогнозирования одной (ANOVA) или нескольких (MANOVA) непрерывных зависимых переменных по одной или нескольким независимым категориальным переменным. Анализ дискриминантной функции полезен для определения того, эффективен ли набор переменных для прогнозирования принадлежности к категории. ^[10]

LDA для двух классов

Рассмотрим набор наблюдений (также называемых признаками, атрибутами, переменными или измерениями) для каждого образца объекта или события с известным классом . Этот набор образцов называется обучающим набором в контексте контролируемого обучения . Проблема классификации заключается в том, чтобы найти хороший предиктор для класса любого образца того же распределения (не обязательно из обучающего набора), учитывая только наблюдение . ^{[11] : 338} ${\displaystyle {\vec {x}}}$ ${\displaystyle y}$ ${\displaystyle y}$ ${\displaystyle {\vec {x}}}$

LDA подходит к проблеме, предполагая, что функции плотности условной вероятности и являются нормальным распределением со средним значением и параметрами ковариации и , соответственно. При этом предположении оптимальное по Байесу решение заключается в прогнозировании точек как принадлежащих второму классу, если логарифм отношений правдоподобия больше некоторого порогового значения T, так что: ${\displaystyle p({\vec {x}}|y=0)}$ ${\displaystyle p({\vec {x}}|y=1)}$ ${\displaystyle \left({\vec {\mu }}_{0},\Sigma _{0}\right)}$ ${\displaystyle \left({\vec {\mu }}_{1},\Sigma _{1}\right)}$

${\displaystyle {\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{0})^{\mathrm {T} }\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+{\frac {1}{2}}\ln |\Sigma _{0}|-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{1})^{\mathrm {T} }\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-{\frac {1}{2}}\ln |\Sigma _{1}|\ >\ T}$

Без каких-либо дополнительных предположений полученный классификатор называется квадратичным дискриминантным анализом (QDA).

Вместо этого LDA делает дополнительное упрощающее предположение о гомоскедастичности ( т.е. что ковариации классов идентичны, поэтому ) и что ковариации имеют полный ранг. В этом случае несколько членов отменяются: ${\displaystyle \Sigma _{0}=\Sigma _{1}=\Sigma }$

${\displaystyle {\vec {x}}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {x}}}$

${\displaystyle {\vec {x}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}={{\vec {\mu }}_{i}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {x}}}$ потому что эрмитово ${\displaystyle \Sigma _{i}}$

и вышеуказанный критерий решения становится порогом для скалярного произведения

${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {x}}>c}$

для некоторой пороговой константы c , где

${\displaystyle {\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

${\displaystyle c={\frac {1}{2}}\,{\vec {w}}^{\mathrm {T} }({\vec {\mu }}_{1}+{\vec {\mu }}_{0})}$

Это означает, что критерий принадлежности входных данных к классу является исключительно функцией этой линейной комбинации известных наблюдений. ${\displaystyle {\vec {x}}}$ ${\displaystyle y}$

Часто бывает полезно рассмотреть этот вывод в геометрических терминах: критерий принадлежности входа классу является чисто функцией проекции точки многомерного пространства на вектор (таким образом, мы рассматриваем только его направление). Другими словами, наблюдение принадлежит , если соответствующее находится на определенной стороне гиперплоскости, перпендикулярной . Местоположение плоскости определяется порогом . ${\displaystyle {\vec {x}}}$ ${\displaystyle y}$ ${\displaystyle {\vec {x}}}$ ${\displaystyle {\vec {w}}}$ ${\displaystyle y}$ ${\displaystyle {\vec {x}}}$ ${\displaystyle {\vec {w}}}$ ${\displaystyle c}$

Предположения

Предположения дискриминантного анализа те же, что и для MANOVA. Анализ довольно чувствителен к выбросам, и размер наименьшей группы должен быть больше, чем количество предикторных переменных. ^[8]

• Многомерная нормальность : независимые переменные являются нормальными для каждого уровня группирующей переменной. ^{[10] [8]}
• Однородность дисперсии/ковариации ( гомоскедастичность ): дисперсии среди групповых переменных одинаковы на всех уровнях предикторов. Может быть проверено с помощью статистики Бокса M. ^[10] Однако было предложено использовать линейный дискриминантный анализ, когда ковариации равны, и квадратичный дискриминантный анализ , когда ковариации не равны. ^[8]
• Независимость : предполагается, что участники были выбраны случайным образом, и оценка участника по одной переменной считается независимой от оценок по этой переменной всех остальных участников. ^{[10] [8]}

Было высказано предположение, что дискриминантный анализ относительно устойчив к небольшим нарушениям этих предположений ^[12] , а также было показано, что дискриминантный анализ может быть надежным при использовании дихотомических переменных (где многомерная нормальность часто нарушается) ^{[13] .}

Дискриминантные функции

Дискриминантный анализ работает путем создания одной или нескольких линейных комбинаций предикторов, создавая новую скрытую переменную для каждой функции. Эти функции называются дискриминантными функциями. Количество возможных функций равно либо где = количеству групп, либо (количеству предикторов), в зависимости от того, что меньше. Первая созданная функция максимизирует различия между группами по этой функции. Вторая функция максимизирует различия по этой функции, но также не должна коррелировать с предыдущей функцией. Это продолжается с последующими функциями с требованием, чтобы новая функция не коррелировала ни с одной из предыдущих функций. ${\displaystyle N_{g}-1}$ ${\displaystyle N_{g}}$ ${\displaystyle p}$

Для данной группы с наборами выборочного пространства существует дискриминантное правило, такое, что если , то . Дискриминантный анализ затем находит «хорошие» регионы для минимизации ошибки классификации, что приводит к высокому проценту правильной классификации в таблице классификации. ^[14] ${\displaystyle j}$ ${\displaystyle \mathbb {R} _{j}}$ ${\displaystyle x\in \mathbb {R} _{j}}$ ${\displaystyle x\in j}$ ${\displaystyle \mathbb {R} _{j}}$

Каждой функции присваивается дискриминантный балл ^{[ необходимо разъяснение ],} чтобы определить, насколько хорошо она предсказывает размещение в группе.

• Коэффициенты корреляции структуры: корреляция между каждым предиктором и дискриминантной оценкой каждой функции. Это корреляция нулевого порядка (т.е. не скорректированная для других предикторов). ^[15]
• Стандартизированные коэффициенты: вес каждого предиктора в линейной комбинации, которая является дискриминантной функцией. Как и в уравнении регрессии, эти коэффициенты являются частичными (т.е. скорректированными для других предикторов). Указывает уникальный вклад каждого предиктора в прогнозирование группового назначения.
• Функции в групповых центроидах: средние дискриминантные баллы для каждой группирующей переменной даны для каждой функции. Чем дальше друг от друга находятся средние значения, тем меньше будет ошибок в классификации.

Правила дискриминации

• Максимальное правдоподобие : назначается группе, которая максимизирует плотность популяции (группы). ^[16] ${\displaystyle x}$
• Дискриминантное правило Байеса: назначает группе, которая максимизирует , где π _i представляет собой априорную вероятность этой классификации, а представляет собой плотность популяции. ^[16] ${\displaystyle x}$ ${\displaystyle \pi _{i}f_{i}(x)}$ ${\displaystyle f_{i}(x)}$
• Правило линейного дискриминанта Фишера: максимизирует отношение между SS _между и SS _внутри и находит линейную комбинацию предикторов для прогнозирования группы. ^[16]

Собственные значения

Собственное значение в дискриминантном анализе — это характеристический корень каждой функции. ^{[ необходимо пояснение ]} Это показатель того, насколько хорошо эта функция дифференцирует группы, где чем больше собственное значение, тем лучше дифференцирует функция. ^[8] Однако это следует интерпретировать с осторожностью, поскольку собственные значения не имеют верхнего предела. ^{[10] [8]} Собственное значение можно рассматривать как отношение SS _между и SS _{внутри,} как в ANOVA, когда зависимая переменная — это дискриминантная функция, а группы — это уровни IV [ ^{необходимо пояснение ]} . ^[10] Это означает, что наибольшее собственное значение связано с первой функцией, второе по величине — со второй и т. д.

Размер эффекта

Некоторые предлагают использовать собственные значения в качестве мер размера эффекта , однако, как правило, это не поддерживается. ^[10] Вместо этого каноническая корреляция является предпочтительной мерой размера эффекта. Она похожа на собственное значение, но является квадратным корнем из отношения SS _между и SS _total . Это корреляция между группами и функцией. ^[10] Другой популярной мерой размера эффекта является процент дисперсии ^{[ необходимо разъяснение ]} для каждой функции. Он рассчитывается по формуле: ( λ _x /Σλ _i ) X 100, где λ _x — собственное значение для функции, а Σ λ _i — сумма всех собственных значений. Это говорит нам о том, насколько сильным является прогноз для этой конкретной функции по сравнению с другими. ^[10] Процент правильно классифицированных также можно анализировать как размер эффекта. Значение каппы может описывать это, корректируя случайное согласие. ^[10] Каппа нормализует все категории, а не смещается из-за значительно хороших или плохих классов. ^{[ необходимо разъяснение ] [17]}

Канонический дискриминантный анализ длякклассы

Канонический дискриминантный анализ (CDA) находит оси ( k  − 1 канонических координат , где k — число классов), которые наилучшим образом разделяют категории. Эти линейные функции некоррелированы и определяют, по сути, оптимальное k  − 1 пространство через n -мерное облако данных, которое наилучшим образом разделяет (проекции в этом пространстве) k групп. Подробности см. в разделе «Multiclass LDA» ниже.

Линейный дискриминант Фишера

Термины «линейный дискриминант Фишера» и LDA часто используются как взаимозаменяемые, хотя в оригинальной статье Фишера ^[2] на самом деле описывается несколько иной дискриминант, который не делает некоторых предположений LDA, таких как нормально распределенные классы или равные ковариации классов .

Предположим, что два класса наблюдений имеют средние значения и ковариации . Тогда линейная комбинация признаков будет иметь средние значения и дисперсии для . Фишер определил разделение между этими двумя распределениями как отношение дисперсии между классами к дисперсии внутри классов: ${\displaystyle {\vec {\mu }}_{0},{\vec {\mu }}_{1}}$ ${\displaystyle \Sigma _{0},\Sigma _{1}}$ ${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {x}}}$ ${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {\mu }}_{i}}$ ${\displaystyle {\vec {w}}^{\mathrm {T} }\Sigma _{i}{\vec {w}}}$ ${\displaystyle i=0,1}$

${\displaystyle S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{\mathrm {T} }\Sigma _{1}{\vec {w}}+{\vec {w}}^{\mathrm {T} }\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{\mathrm {T} }(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}}$

Эта мера, в некотором смысле, является мерой отношения сигнал/шум для маркировки классов. Можно показать, что максимальное разделение происходит, когда

${\displaystyle {\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

Если предположения LDA выполнены, то приведенное выше уравнение эквивалентно LDA.

Линейный дискриминант Фишера, представленный в виде оси

Обязательно обратите внимание, что вектор является нормалью к дискриминантной гиперплоскости . Например, в двумерной задаче линия, которая наилучшим образом разделяет две группы, перпендикулярна . ${\displaystyle {\vec {w}}}$ ${\displaystyle {\vec {w}}}$

Обычно точки данных, которые необходимо различить, проецируются на ; затем порог, который наилучшим образом разделяет данные, выбирается из анализа одномерного распределения. Общего правила для порога не существует. Однако, если проекции точек из обоих классов демонстрируют приблизительно одинаковые распределения, хорошим выбором будет гиперплоскость между проекциями двух средних значений и . В этом случае параметр c в пороговом условии можно найти явно: ${\displaystyle {\vec {w}}}$ ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{0}}$ ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{1}}$ ${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$

${\displaystyle c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {\mu }}_{0}}$.

Метод Оцу связан с линейным дискриминантом Фишера и был создан для бинаризации гистограммы пикселей на изображении в градациях серого путем оптимального выбора порога черного/белого цвета, который минимизирует внутриклассовую дисперсию и максимизирует межклассовую дисперсию внутри/между градациями серого, назначенными классам черных и белых пикселей.

Многоклассовый LDA

Визуализация осей LDA «один против всех» для 4 классов в 3D

Проекции вдоль линейных дискриминантных осей для 4 классов

В случае, когда имеется более двух классов, анализ, используемый при выводе дискриминанта Фишера, может быть расширен для поиска подпространства , которое, по-видимому, содержит всю изменчивость класса. ^[18] Это обобщение принадлежит CR Rao . ^[19] Предположим, что каждый из классов C имеет среднее значение и одинаковую ковариацию . Тогда разброс между изменчивостью класса может быть определен выборочной ковариацией средних значений класса. ${\displaystyle \mu _{i}}$ ${\displaystyle \Sigma }$

${\displaystyle \Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{\mathrm {T} }}$

где - среднее значение средних значений класса. Разделение классов в направлении в этом случае будет определяться как ${\displaystyle \mu }$ ${\displaystyle {\vec {w}}}$

${\displaystyle S={\frac {{\vec {w}}^{\mathrm {T} }\Sigma _{b}{\vec {w}}}{{\vec {w}}^{\mathrm {T} }\Sigma {\vec {w}}}}}$

Это означает, что когда собственный вектор разделения будет равен соответствующему собственному значению . ${\displaystyle {\vec {w}}}$ ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$

Если диагонализуемо, изменчивость между признаками будет содержаться в подпространстве, охватываемом собственными векторами, соответствующими C  − 1 наибольшим собственным значениям (поскольку имеет ранг C  − 1 максимум). Эти собственные векторы в основном используются при редукции признаков, как в PCA. Собственные векторы, соответствующие меньшим собственным значениям, будут, как правило, очень чувствительны к точному выбору обучающих данных, и часто необходимо использовать регуляризацию, как описано в следующем разделе. ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$ ${\displaystyle \Sigma _{b}}$

Если требуется классификация, вместо уменьшения размерности , существует ряд альтернативных методов. Например, классы могут быть разделены, и стандартный дискриминант Фишера или LDA используется для классификации каждого раздела. Типичным примером этого является «один против остальных», когда точки из одного класса помещаются в одну группу, а все остальное — в другую, а затем применяется LDA. Это приведет к C классификаторам, результаты которых объединяются. Другим распространенным методом является парная классификация, когда новый классификатор создается для каждой пары классов (что дает C ( C  − 1)/2 классификаторов в общей сложности), а отдельные классификаторы объединяются для получения окончательной классификации.

Инкрементный LDA

Типичная реализация метода LDA требует, чтобы все образцы были доступны заранее. Однако существуют ситуации, когда весь набор данных недоступен, а входные данные наблюдаются как поток. В этом случае желательно, чтобы извлечение признаков LDA имело возможность обновлять вычисленные признаки LDA путем наблюдения за новыми образцами без запуска алгоритма на всем наборе данных. Например, во многих приложениях реального времени, таких как мобильная робототехника или онлайн-распознавание лиц, важно обновлять извлеченные признаки LDA, как только становятся доступны новые наблюдения. Метод извлечения признаков LDA, который может обновлять признаки LDA путем простого наблюдения за новыми образцами, является инкрементальным алгоритмом LDA , и эта идея широко изучалась в течение последних двух десятилетий. ^[20] Чаттерджи и Ройчоудхури предложили инкрементальный самоорганизующийся алгоритм LDA для обновления признаков LDA. ^[21] В другой работе Демир и Озмехмет предложили алгоритмы локального обучения онлайн для обновления признаков LDA пошагово с использованием исправления ошибок и правил обучения Хебба. ^[22] Позднее Алияри и др. вывели быстрые инкрементные алгоритмы для обновления характеристик LDA путем наблюдения за новыми образцами. ^[20]

Практическое использование

На практике средние значения классов и ковариации неизвестны. Однако их можно оценить по обучающему набору. Вместо точного значения в приведенных выше уравнениях можно использовать либо оценку максимального правдоподобия , либо максимальную апостериорную оценку. Хотя оценки ковариации можно считать оптимальными в некотором смысле, это не означает, что полученный дискриминант, полученный путем подстановки этих значений, является оптимальным в каком-либо смысле, даже если предположение о нормально распределенных классах верно.

Другое осложнение при применении LDA и дискриминанта Фишера к реальным данным возникает, когда количество измерений каждой выборки (т. е. размерность каждого вектора данных) превышает количество выборок в каждом классе. ^[5] В этом случае оценки ковариации не имеют полного ранга и поэтому не могут быть инвертированы. Есть несколько способов справиться с этим. Один из них — использовать псевдообратную матрицу вместо обычной обратной матрицы в приведенных выше формулах. Однако лучшей числовой устойчивости можно достичь, сначала спроецировав задачу на подпространство, охватываемое . ^[23] Другая стратегия работы с малым размером выборки — использовать оценку сжатия матрицы ковариации, которая может быть выражена математически как ${\displaystyle \Sigma _{b}}$

${\displaystyle \Sigma =(1-\lambda )\Sigma +\lambda I\,}$

где — единичная матрица, а — интенсивность сжатия или параметр регуляризации . Это приводит к структуре регуляризованного дискриминантного анализа ^[24] или дискриминантного анализа сжатия. ^[25] ${\displaystyle I}$ ${\displaystyle \lambda }$

Кроме того, во многих практических случаях линейные дискриминанты не подходят. LDA и дискриминант Фишера могут быть расширены для использования в нелинейной классификации с помощью трюка ядра . Здесь исходные наблюдения эффективно отображаются в нелинейном пространстве более высокой размерности. Линейная классификация в этом нелинейном пространстве тогда эквивалентна нелинейной классификации в исходном пространстве. Наиболее часто используемым примером этого является дискриминант ядра Фишера .

LDA можно обобщить до множественного дискриминантного анализа , где c становится категориальной переменной с N возможными состояниями вместо только двух. Аналогично, если условные плотности классов являются нормальными с общими ковариациями, достаточной статистикой для являются значения N проекций, которые являются подпространством , охватываемым N средними, аффинно спроектированными обратной ковариационной матрицей. Эти проекции можно найти, решив обобщенную задачу собственных значений , где числитель — это ковариационная матрица, сформированная путем обработки средних значений как выборок, а знаменатель — общая ковариационная матрица. Подробности см. в разделе «Multiclass LDA» выше. ${\displaystyle p({\vec {x}}\mid c=i)}$ ${\displaystyle P(c\mid {\vec {x}})}$

Приложения

Помимо примеров, приведенных ниже, LDA применяется в позиционировании и управлении продуктом .

Прогнозирование банкротства

В прогнозировании банкротства на основе бухгалтерских коэффициентов и других финансовых переменных линейный дискриминантный анализ был первым статистическим методом, примененным для систематического объяснения того, какие фирмы вступили в банкротство, а какие выжили. Несмотря на ограничения, включая известное несоответствие бухгалтерских коэффициентов предположениям о нормальном распределении LDA, модель Эдварда Альтмана 1968 года ^[26] по-прежнему является ведущей моделью в практических приложениях. ^{[27] [28] [29]}

Распознавание лиц

В компьютерном распознавании лиц каждое лицо представлено большим количеством значений пикселей. Линейный дискриминантный анализ в первую очередь используется здесь для сокращения количества признаков до более управляемого числа перед классификацией. Каждое из новых измерений представляет собой линейную комбинацию значений пикселей, которые образуют шаблон. Линейные комбинации, полученные с использованием линейного дискриминанта Фишера, называются лицами Фишера , в то время как те, которые получены с использованием связанного анализа главных компонент, называются собственными лицами .

Маркетинг

В маркетинге дискриминантный анализ когда-то часто использовался для определения факторов, которые отличают разные типы клиентов и/или продукты на основе опросов или других форм собранных данных. Логистическая регрессия или другие методы теперь используются чаще. Использование дискриминантного анализа в маркетинге можно описать следующими шагами:

1. Сформулируйте проблему и соберите данные. Определите основные атрибуты, которые потребители используют для оценки продуктов в этой категории. Используйте количественные методы маркетинговых исследований (например, опросы ), чтобы собрать данные из выборки потенциальных клиентов относительно их оценок всех атрибутов продукта. Этап сбора данных обычно выполняется специалистами по маркетинговым исследованиям. Вопросы опроса просят респондента оценить продукт от одного до пяти (или от 1 до 7, или от 1 до 10) по ряду атрибутов, выбранных исследователем. Выбирается от пяти до двадцати атрибутов. Они могут включать такие вещи, как: простота использования, вес, точность, долговечность, красочность, цена или размер. Выбранные атрибуты будут различаться в зависимости от изучаемого продукта. Один и тот же вопрос задается обо всех продуктах в исследовании. Данные по нескольким продуктам кодируются и вводятся в статистическую программу, такую ​​как R , SPSS или SAS . (Этот шаг такой же, как в факторном анализе).
2. Оцените коэффициенты дискриминантной функции и определите статистическую значимость и валидность — выберите подходящий метод дискриминантного анализа. Прямой метод включает оценку дискриминантной функции таким образом, чтобы все предикторы оценивались одновременно. Пошаговый метод вводит предикторы последовательно. Двухгрупповой метод следует использовать, когда зависимая переменная имеет две категории или состояния. Метод множественного дискриминанта используется, когда зависимая переменная имеет три или более категориальных состояния. Используйте лямбда Уилкса для проверки значимости в SPSS или F-статистику в SAS. Наиболее распространенным методом, используемым для проверки валидности, является разделение выборки на оценочную или аналитическую выборку и проверочную или контрольную выборку. Оценочная выборка используется при построении дискриминантной функции. Проверочная выборка используется для построения матрицы классификации, которая содержит количество правильно классифицированных и неправильно классифицированных случаев. Процент правильно классифицированных случаев называется коэффициентом попадания .
3. Нанесите результаты на двумерную карту, определите измерения и интерпретируйте результаты. Статистическая программа (или связанный модуль) нанесет результаты на карту. Карта нанесет на карту каждый продукт (обычно в двумерном пространстве). Расстояние между продуктами указывает, насколько они различаются. Измерения должны быть помечены исследователем. Это требует субъективного суждения и часто является очень сложной задачей. См. perceptual mapping .

Биомедицинские исследования

Основное применение дискриминантного анализа в медицине — оценка тяжести состояния пациента и прогнозирование исхода заболевания. Например, при ретроспективном анализе пациенты делятся на группы в зависимости от тяжести заболевания — легкая, средняя и тяжелая форма. Затем изучаются результаты клинических и лабораторных анализов для выявления статистически различных переменных в этих группах. Используя эти переменные, строятся дискриминантные функции для классификации тяжести заболевания у будущих пациентов. Кроме того, линейный дискриминантный анализ (ЛДА) может помочь выбрать более дискриминантные образцы для дополнения данных, улучшая производительность классификации. ^[30]

В биологии аналогичные принципы используются для классификации и определения групп различных биологических объектов, например, для определения типов фагов Salmonella enteritidis на основе инфракрасных спектров с Фурье-преобразованием ^[31] , для выявления животного происхождения Escherichia coli путем изучения факторов ее вирулентности ^[32] и т. д.

Науки о Земле

Этот метод может быть использован для разделения зон изменений ^{[ необходимо уточнение ]} . Например, когда доступны разные данные из разных зон, дискриминантный анализ может найти закономерность в данных и эффективно ее классифицировать. ^[33]

Сравнение с логистической регрессией

Анализ дискриминантной функции очень похож на логистическую регрессию , и оба могут быть использованы для ответа на одни и те же исследовательские вопросы. ^[10] Логистическая регрессия не имеет столько предположений и ограничений, как дискриминантный анализ. Однако, когда предположения дискриминантного анализа выполняются, он более мощный, чем логистическая регрессия. ^[34] В отличие от логистической регрессии, дискриминантный анализ может быть использован с небольшими размерами выборки. Было показано, что когда размеры выборки равны и сохраняется однородность дисперсии/ковариации, дискриминантный анализ более точен. ^[8] Несмотря на все эти преимущества, логистическая регрессия, тем не менее, стала общим выбором, поскольку предположения дискриминантного анализа редко выполняются. ^{[9] [8]}

Линейный дискриминант в больших размерностях

Геометрические аномалии в более высоких измерениях приводят к хорошо известному проклятию размерности . Тем не менее, правильное использование явлений концентрации меры может облегчить вычисления. ^[35] Важный случай этих явлений благословения размерности был выделен Донохо и Таннером: если выборка по существу высокоразмерная, то каждая точка может быть отделена от остальной части выборки линейным неравенством с высокой вероятностью, даже для экспоненциально больших выборок. ^[36] Эти линейные неравенства могут быть выбраны в стандартной (Фишера) форме линейного дискриминанта для богатого семейства распределений вероятностей. ^[37] В частности, такие теоремы доказаны для логарифмически вогнутых распределений, включая многомерное нормальное распределение (доказательство основано на неравенствах концентрации для логарифмически вогнутых мер ^[38] ) и для мер произведения на многомерном кубе (это доказано с использованием неравенства концентрации Талаграна для пространств вероятностей произведения). Разделимость данных классическими линейными дискриминантами упрощает проблему исправления ошибок для систем искусственного интеллекта в высокой размерности. ^[39]

Смотрите также

• Сбор данных
• Обучение дереву решений
• Факторный анализ
• Дискриминантный анализ ядра Фишера
• Логит (для логистической регрессии )
• Линейная регрессия
• Множественный дискриминантный анализ
• Многомерное масштабирование
• Распознавание образов
• Регрессия предпочтений
• Квадратичный классификатор
• Статистическая классификация

Ссылки

1. Холтел, Фредерик (2023-02-20). "Линейный дискриминантный анализ (ЛДА) может быть таким простым". Medium . Получено 2024-05-18 .
2. Фишер, РА (1936). «Использование множественных измерений в таксономических проблемах» (PDF) . Annals of Eugenics . 7 (2): 179–188. doi :10.1111/j.1469-1809.1936.tb02137.x. hdl : 2440/15227 .
3. Маклахлан, Г. Дж. (2004). Дискриминантный анализ и статистическое распознавание образов . Wiley Interscience. ISBN 978-0-471-69115-0. МР  1190469.
4. Анализ количественных данных: введение для социальных исследователей, Дебра Ветчер-Хендрикс, стр. 288
5. Martinez, AM; Kak, AC (2001). "PCA против LDA" (PDF) . IEEE Transactions on Pattern Analysis and Machine Intelligence . 23 (2): 228–233. doi :10.1109/34.908974. Архивировано из оригинала (PDF) 2008-10-11 . Получено 2010-06-30 .
6. Абди, Х. (2007) «Дискриминантный анализ соответствий». В: NJ Salkind (ред.): Энциклопедия измерений и статистики . Thousand Oaks (CA): Sage. стр. 270–275.
7. Perriere, G.; Thioulouse, J. (2003). «Использование анализа соответствия для прогнозирования субклеточного расположения бактериальных белков». Компьютерные методы и программы в биомедицине . 70 (2): 99–105. doi :10.1016/s0169-2607(02)00011-1. PMID  12507786.
8. Büyüköztürk, Ş. & Чоклук-Бёкеоглу, О. (2008). Дискриминантный функциональный анализ: понятие и применение. Эгитим Арастирмалари – Евразийский журнал образовательных исследований, 33, 73-92.
9. Cohen et al. Прикладной множественный регрессионный/корреляционный анализ для поведенческих наук, 3-е изд. (2003). Taylor & Francis Group.
10. Хансен, Джон (2005). «Использование SPSS для Windows и Macintosh: анализ и понимание данных». The American Statistician . 59 : 113. doi :10.1198/tas.2005.s139.
11. Venables, WN; Ripley, BD (2002). Modern Applied Statistics with S (4-е изд.). Springer Verlag. ISBN 978-0-387-95457-8.
12. Lachenbruch, PA (1975). Дискриминантный анализ . NY: Hafner
13. Клецка, Уильям Р. (1980). Дискриминантный анализ . Количественные приложения в серии социальных наук, № 19. Thousand Oaks, CA: Sage Publications.
14. Хардл, В., Симар, Л. (2007). Прикладной многомерный статистический анализ . Springer Berlin Heidelberg. С. 289–303.
15. Гарсон, Г. Д. (2008). Анализ дискриминантной функции. https://web.archive.org/web/20080312065328/http://www2.chass.ncsu.edu/garson/pA765/discrim.htm.
16. Hardle, W., Simar, L. (2007). Прикладной многомерный статистический анализ . Springer Berlin Heidelberg. С. 289-303.
17. Израиль, Стивен А. (июнь 2006 г.). «Метрики производительности: как и когда». Geocarto International . 21 (2): 23–32. Bibcode : 2006GeoIn..21...23I. doi : 10.1080/10106040608542380. ISSN  1010-6049. S2CID  122376081.
18. Garson, GD (2008). Анализ дискриминантной функции. "PA 765: Анализ дискриминантной функции". Архивировано из оригинала 2008-03-12 . Получено 2008-03-04 ..
19. Рао, RC (1948). «Использование множественных измерений в задачах биологической классификации». Журнал Королевского статистического общества, Серия B. 10 ( 2): 159–203. doi :10.1111/j.2517-6161.1948.tb00008.x. JSTOR  2983775.
20. Алиари Гассабе, Юнесс; Руджич, Франк; Могаддам, Хамид Абришами (1 июня 2015 г.). «Быстрое постепенное извлечение функций LDA». Распознавание образов . 48 (6): 1999–2012. Бибкод : 2015PatRe..48.1999A. дои : 10.1016/j.patcog.2014.12.012.
21. Чаттерджи, К.; Ройчоудхури, В. П. (1997-05-01). «О самоорганизующихся алгоритмах и сетях для признаков разделения классов». Труды IEEE по нейронным сетям . 8 (3): 663–678. doi :10.1109/72.572105. ISSN  1045-9227. PMID  18255669.
22. Демир, ГК; Озмехмет, К. (2005-03-01). "Онлайн-алгоритмы локального обучения для линейного дискриминантного анализа". Pattern Recogniz. Lett . 26 (4): 421–431. Bibcode :2005PaReL..26..421D. doi :10.1016/j.patrec.2004.08.005. ISSN  0167-8655.
23. Ю, Х.; Янг, Дж. (2001). «Прямой алгоритм LDA для многомерных данных — с применением к распознаванию лиц». Pattern Recognition . 34 (10): 2067–2069. Bibcode :2001PatRe..34.2067Y. CiteSeerX 10.1.1.70.3507 . doi :10.1016/s0031-3203(00)00162-x. 
24. Фридман, Дж. Х. (1989). «Регуляризованный дискриминантный анализ» (PDF) . Журнал Американской статистической ассоциации . 84 (405): 165–175. CiteSeerX 10.1.1.382.2682 . doi :10.2307/2289860. JSTOR  2289860. MR  0999675. 
25. Адесмяки, М.; Стриммер, К. (2010). «Выбор признаков в задачах прогнозирования омики с использованием оценок кошек и контроля частоты ложных необнаружений». Annals of Applied Statistics . 4 (1): 503–519. arXiv : 0903.2003 . doi : 10.1214/09-aoas277. S2CID  2508935.
26. Альтман, Эдвард И. (1968). «Финансовые коэффициенты, дискриминантный анализ и прогнозирование корпоративного банкротства». Журнал финансов . 23 (4): 589–609. doi :10.2307/2978933. JSTOR  2978933.
27. Агарвал, Винит; Таффлер, Ричард (2005). «Двадцать пять лет z-оценок в Великобритании: действительно ли они работают?» (PDF) .
28. Агарвал, Винит; Таффлер, Ричард (2007). «Двадцать пять лет модели Z-счета Таффлера: действительно ли она обладает предсказательной способностью?». Бухгалтерский учет и бизнес-исследования . 37 (4): 285–300. doi :10.1080/00014788.2007.9663313.
29. Бимпонг, Патрик и др. (2020). «Оценка предсказательной силы и манипуляций с доходами. Прикладное исследование листинговых компаний потребительских товаров и услуг в Гане с использованием 3 моделей Z-оценки». Expert Journal of Finance . 8 (1): 1–26.
30. Моради, М.; Демирель, Х. (2024). «Классификация болезни Альцгеймера с использованием 3D условного прогрессивного отбора данных на основе GAN и LDA». Обработка сигналов, изображений и видео . 18 (2): 1847–1861.
31. Preisner, O; Guiomar, R; Machado, J; Menezes, JC; Lopes, JA (2010). «Применение инфракрасной спектроскопии с преобразованием Фурье и хемометрики для дифференциации типов фагов Salmonella enterica серовара Enteritidis». Appl Environ Microbiol . 76 (11): 3538–3544. Bibcode : 2010ApEnM..76.3538P. doi : 10.1128/aem.01589-09. PMC 2876429. PMID  20363777 . 
32. Дэвид, DE; Линн, AM; Хан, J; Фоли, SL (2010). «Оценка профилирования факторов вирулентности при характеристике ветеринарных изолятов Escherichia coli». Appl Environ Microbiol . 76 (22): 7509–7513. Bibcode : 2010ApEnM..76.7509D . doi : 10.1128/aem.00726-10. PMC 2976202. PMID  20889790. 
33. Тахмасеби, П.; Хезархани, А.; Мортазави, М. (2010). «Применение дискриминантного анализа для разделения изменений; медное месторождение Сунгун, Восточный Азербайджан, Иран. Австралийский» (PDF) . Журнал фундаментальных и прикладных наук . 6 (4): 564–576.
34. Тревор Хасти; Роберт Тибширани; Джером Фридман. Элементы статистического обучения. Анализ данных, вывод и прогнозирование (второе изд.). Springer. стр. 128.
35. Kainen PC (1997) Использование геометрических аномалий высокой размерности: когда сложность упрощает вычисления. В: Kárný M., Warwick K. (ред.) Computer Intensive Methods in Control and Signal Processing: The Curse of Dimensionality, Springer, 1997, стр. 282–294.
36. Донохо, Д., Таннер, Дж. (2009) Наблюдаемая универсальность фазовых переходов в многомерной геометрии с последствиями для современного анализа данных и обработки сигналов, Phil. Trans. R. Soc. A 367, 4273–4293.
37. Горбань, Александр Н.; Голубков, Александр; Гречук, Богдан; Миркес, Евгений М.; Тюкин, Иван Ю. (2018). «Коррекция систем искусственного интеллекта линейными дискриминантами: вероятностные основы». Информационные науки . 466 : 303–322. arXiv : 1811.05321 . doi : 10.1016/j.ins.2018.07.040. S2CID  52876539.
38. Гедон, О., Мильман, Э. (2011) Интерполяция оценок тонкой оболочки и острых больших отклонений для изотропных логарифмически вогнутых мер, Геом. функц. и анал. 21 (5), 1043–1068.
39. Горбань, Александр Н.; Макаров, Валерий А.; Тюкин, Иван Ю. (июль 2019 г.). «Необоснованная эффективность малых нейронных ансамблей в многомерном мозге». Physics of Life Reviews . 29 : 55–88. arXiv : 1809.07656 . Bibcode : 2019PhLRv..29...55G. doi : 10.1016/j.plrev.2018.09.005 . PMID  30366739.

Дальнейшее чтение

• Дуда, РО; Харт, П.Е.; Сторк, Д.Х. (2000). Классификация паттернов (2-е изд.). Wiley Interscience. ISBN 978-0-471-05669-0. МР  1802993.
• Hilbe, JM (2009). Модели логистической регрессии . Chapman & Hall/CRC Press. ISBN 978-1-4200-7575-5.
• Mika, S.; et al. (1999). "Анализ дискриминанта Фишера с ядрами". Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop (Cat. No.98TH8468) . pp. 41–48. CiteSeerX  10.1.1.35.9904 . doi :10.1109/NNSP.1999.788121. ISBN 978-0-7803-5673-3. S2CID  8473401.{{cite book}}: CS1 maint: date and year (link)
• Макфарланд, Х. Ричард; Дональд, Ст. П. Ричардс (2001). «Точные вероятности неправильной классификации для подключаемых нормальных квадратичных дискриминантных функций. I. Случай равных средних». Журнал многомерного анализа . 77 (1): 21–53. doi : 10.1006/jmva.2000.1924 .
• Макфарланд, Х. Ричард; Дональд, Ст. П. Ричардс (2002). «Точные вероятности неправильной классификации для подключаемых нормальных квадратичных дискриминантных функций. II. Гетерогенный случай». Журнал многомерного анализа . 82 (2): 299–330. doi : 10.1006/jmva.2001.2034 .
• Хагигат, М.; Абдель-Мотталеб, М.; Альхалаби, В. (2016). «Дискриминантный корреляционный анализ: слияние на уровне признаков в реальном времени для мультимодального биометрического распознавания». Труды IEEE по информационной криминалистике и безопасности . 11 (9): 1984–1996. doi :10.1109/TIFS.2016.2569061. S2CID  15624506.

Внешние ссылки

• Дискриминантный корреляционный анализ (DCA) статьи Haghighat (см. выше)
• ALGLIB содержит реализацию LDA с открытым исходным кодом на языках C# / C++ / Pascal / VBA.
• LDA в Python — реализация LDA в Python
• Учебник LDA с использованием MS Excel
• Биомедицинская статистика. Дискриминантный анализ
• StatQuest: Линейный дискриминантный анализ (ЛДА) наглядно объяснен на YouTube
• Заметки к курсу, Анализ дискриминантной функции, автор Г. Дэвид Гарсон, Университет штата Северная Каролина
• Учебник по дискриминантному анализу в Microsoft Excel от Карди Текномо
• Заметки к курсу, Анализ дискриминантной функции Дэвида В. Стокбургера, Университет штата Миссури. Архивировано 03.03.2016 на Wayback Machine
• Анализ дискриминантной функции (DA) Джона Поулсена и Аарона Френча, Университет штата Сан-Франциско