Пространство параметров

Пространство параметров — это пространство всех возможных значений параметров, которые определяют конкретную математическую модель . Иногда его также называют весовым пространством , и часто оно является подмножеством конечномерного евклидова пространства .

В статистике параметрические пространства особенно полезны для описания параметрических семейств распределений вероятностей . Они также формируют основу для оценки параметров . В случае экстремальных оценок для параметрических моделей определенная целевая функция максимизируется или минимизируется по параметрическому пространству. ^[1] Теоремы существования и согласованности таких оценок требуют некоторых предположений о топологии параметрического пространства. Например, компактность параметрического пространства вместе с непрерывностью целевой функции достаточны для существования экстремальной оценки. ^[1]

Иногда параметры анализируются, чтобы увидеть, как они влияют на их статистическую модель. В этом контексте их можно рассматривать как входные данные функции , в этом случае технический термин для пространства параметров — домен функции . Диапазоны значений параметров могут образовывать оси графика , и конкретные результаты модели могут быть нанесены на эти оси, чтобы проиллюстрировать, как различные области пространства параметров производят различные типы поведения в модели.

Примеры

• Простая модель ухудшения здоровья после развития рака легких может включать два параметра: пол ^[2] и курящий/некурящий, в этом случае пространство параметров представляет собой следующий набор из четырех возможностей: {(Мужчина, Курильщик), (Мужчина, Некурящий), (Женщина, Курящая), (Женщина, Некурящая)} .

• Логистическая карта имеет один параметр, r , который может принимать любое положительное значение. Таким образом, пространство параметров — это положительные действительные числа . ${\displaystyle x_{n+1}=rx_{n}(1-x_{n})}$

Для некоторых значений r эта функция в конечном итоге циклически движется вокруг нескольких значений или фиксируется на одном значении. Эти долгосрочные значения можно отобразить в зависимости от r на бифуркационной диаграмме, чтобы показать различное поведение функции для различных значений r .

• В модели синусоидальной волны параметрами являются амплитуда A > 0, угловая частота ω > 0 и фаза φ ∈ S ^1. Таким образом, пространство параметров имеет вид ${\displaystyle y(t)=A\cdot \sin(\omega t+\phi ),}$ ${\displaystyle R^{+}\times R^{+}\times S^{1}.}$

• В сложной динамике пространство параметров представляет собой комплексную плоскость C = { z = x + y i : x, y ∈ R }, где i ² = −1.

Знаменитое множество Мандельброта является подмножеством этого пространства параметров, состоящим из точек на комплексной плоскости, которые дают ограниченный набор чисел, когда конкретная итерированная функция многократно применяется из этой начальной точки. Остальные точки, которые не входят в набор, дают неограниченный набор чисел (они стремятся к бесконечности), когда эта функция многократно применяется из этой начальной точки.

• В машинном обучении гиперпараметры используются для описания моделей. В глубоком обучении параметры глубокой сети называются весами. Из-за слоистой структуры глубоких сетей их весовое пространство имеет сложную структуру и геометрию. ^{[3] [4]} Например, в многослойных персептронах та же функция сохраняется при перестановке узлов скрытого слоя, что равнозначно перестановке весовых матриц сети. Это свойство известно как эквивариантность перестановки глубоких весовых пространств. ^[3] Исследование направлено на оптимизацию гиперпараметров .

История

Параметрическое пространство способствовало освобождению геометрии от ограничений трехмерного пространства . Например, параметрическое пространство сфер в трех измерениях имеет четыре измерения — три для центра сферы и одно для радиуса. Согласно Дирку Штруику , именно книга Neue Geometrie des Raumes (1849) Юлиуса Плюккера показала,

...геометрия не обязательно должна основываться исключительно на точках как на базовых элементах. Линии, плоскости, окружности, сферы могут быть использованы как элементы ( Raumelemente ), на которых может быть основана геометрия. Эта плодотворная концепция пролила новый свет как на синтетическую, так и на алгебраическую геометрию и создала новые формы двойственности. Количество измерений конкретной формы геометрии теперь может быть любым положительным числом, в зависимости от количества параметров, необходимых для определения «элемента». ^{[5] : 165}

Требование более высоких измерений иллюстрируется геометрией линий Плюккера . Штруик пишет

Геометрию линий [Плюккера] в трехмерном пространстве можно рассматривать как четырехмерную геометрию или, как подчеркнул Клейн , как геометрию четырехмерной квадрики в пятимерном пространстве. ^{[5] : 168}

Таким образом, квадрика Клейна описывает параметры линий в пространстве.

Смотрите также

• Образец пространства
• Конфигурация пространства
• Анализ данных
• Уменьшение размерности
• Выбор модели
• Параметрическое уравнение
• Параметрическая поверхность
• Фазовое пространство

Ссылки

1. Hayashi, Fumio (2000). Эконометрика. Princeton University Press. стр. 446. ISBN 0-691-01018-8.
2. Гасперино, Дж.; Ром, В. Н. (2004). «Пол и рак легких». Клинический рак легких . 5 (6): 353–359. doi :10.3816/CLC.2004.n.013. PMID  15217534.
3. Navon, Aviv; Shamsian, Aviv; Achituve, Idan; Fetaya, Ethan; Chechik, Gal; Maron, Haggai (2023-07-03). «Эквивариантные архитектуры для обучения в глубоких весовых пространствах». Труды 40-й Международной конференции по машинному обучению . PMLR: 25790–25816.
4. Хехт-Нильсен, Роберт (1990-01-01), Экмиллер, Рольф (ред.), «ОБ АЛГЕБРАИЧЕСКОЙ СТРУКТУРЕ ПРОСТРАНСТВ ВЕСОВ ПРЯМОЙ СВЯЗИ», Advanced Neural Computers , Амстердам: Северная Голландия, стр. 129–135, ISBN 978-0-444-88400-8, получено 2023-12-01
5. Дирк Страйк (1967) Краткая история математики , 3-е издание, Dover Books