В статистике скрытые переменные (от латинского : причастие настоящего времени от lateo , «ложь скрытая») — это переменные , которые можно вывести только косвенно с помощью математической модели из других наблюдаемых переменных , которые можно напрямую наблюдать или измерять . [1] Такие модели со скрытыми переменными используются во многих дисциплинах, включая инженерию , медицину , экологию , физику , машинное обучение / искусственный интеллект , обработку естественного языка , биоинформатику , хемометрику , демографию , экономику , менеджмент , политологию , психологию и социальные науки. .
Скрытые переменные могут соответствовать аспектам физической реальности. В принципе, их можно измерить, но это невозможно по практическим причинам. Среди самых ранних выражений этой идеи – классическая полемика сэра Фрэнсиса Бэкона « Новый органум» , которая сама по себе является вызовом более традиционной логике, выраженной в « Органоне » Аристотеля .
Но скрытый процесс, о котором мы говорим, далеко не очевиден для умов людей, находящихся в таком положении сейчас. Ибо мы имеем в виду не меры, симптомы или степени какого-либо процесса, который может проявляться в самих телах, а просто продолжающийся процесс, который большей частью ускользает от наблюдения чувств.
- Сэр Фрэнсис Бэкон , Novum Organum [2]
В этой ситуации обычно используется термин « скрытые переменные» (отражающий тот факт, что переменные имеют смысл, но не наблюдаемы). Другие скрытые переменные соответствуют абстрактным понятиям, таким как категории, поведенческие или психические состояния или структуры данных. В таких ситуациях можно использовать термины гипотетические переменные или гипотетические конструкции .
Использование скрытых переменных может помочь уменьшить размерность данных. Многие наблюдаемые переменные могут быть агрегированы в модели для представления базовой концепции, что упрощает понимание данных. В этом смысле они выполняют функцию, аналогичную функции научных теорий. В то же время скрытые переменные связывают наблюдаемые « субсимволические » данные в реальном мире с символическими данными в моделируемом мире.
Скрытые переменные, создаваемые методами факторного анализа, обычно представляют собой «общую» дисперсию или степень, в которой переменные «движутся» вместе. Переменные, не имеющие корреляции, не могут привести к созданию скрытой конструкции, основанной на модели общих факторов . [4]
Примеры скрытых переменных из области экономики включают качество жизни , деловую уверенность, моральный дух, счастье и консерватизм: все эти переменные не могут быть измерены напрямую. Но связывая эти скрытые переменные с другими наблюдаемыми переменными, значения скрытых переменных можно вывести из измерений наблюдаемых переменных. Качество жизни — это скрытая переменная, которую нельзя измерить напрямую, поэтому для определения качества жизни используются наблюдаемые переменные. Наблюдаемые переменные для измерения качества жизни включают богатство, занятость, окружающую среду, физическое и психическое здоровье, образование, отдых и свободное время, а также социальную принадлежность.
Методика латентно-вариантной диагностики используется во многих отраслях медицины . Класс проблем, которые естественным образом поддаются использованию подходов со скрытыми переменными, — это лонгитудинальные исследования , в которых временная шкала (например, возраст участника или время, прошедшее с момента начала исследования) не синхронизирована с изучаемым признаком. Для таких исследований ненаблюдаемая временная шкала, синхронизированная с изучаемым признаком, может быть смоделирована как преобразование наблюдаемой временной шкалы с использованием скрытых переменных. Примеры этого включают моделирование прогрессирования заболевания и моделирование роста (см. вставку).
Существует ряд различных классов моделей и методологий, которые используют скрытые переменные и позволяют делать выводы при наличии скрытых переменных. Модели включают в себя:
Методы анализа и вывода включают в себя:
Байесовская статистика часто используется для вывода скрытых переменных.