Пространство параметров

Пространство параметров — это пространство возможных значений параметров, определяющих конкретную математическую модель . Его также иногда называют весовым пространством , и часто оно является подмножеством конечномерного евклидова пространства .

В статистике пространства параметров особенно полезны для описания параметрических семейств вероятностных распределений . Они также формируют основу для оценки параметров . В случае оценок экстремума для параметрических моделей определенная целевая функция максимизируется или минимизируется в пространстве параметров. ^[1] Теоремы существования и непротиворечивости таких оценок требуют некоторых предположений о топологии пространства параметров. Например, компактность пространства параметров вместе с непрерывностью целевой функции достаточна для существования экстремальной оценки. ^[1]

В Deep Learning параметры глубокой сети называются весами. Из-за слоистой структуры глубоких сетей их весовое пространство имеет сложную структуру и геометрию. ^{[2] [3]} Например, в Multilayer Perceptrons та же функция сохраняется при перестановке узлов скрытого слоя, сводящейся к перестановке весовых матриц сети. Это свойство известно как эквивалентность перестановке глубоких весовых пространств. ^[2]

Иногда параметры анализируются, чтобы увидеть, как они влияют на статистическую модель. В этом контексте их можно рассматривать как входные данные функции , и в этом случае техническим термином для пространства параметров является область определения функции . Диапазоны значений параметров могут образовывать оси графика , и конкретные результаты модели могут быть отображены на этих осях, чтобы проиллюстрировать, как разные области пространства параметров вызывают разные типы поведения в модели.

Примеры

• Простая модель ухудшения здоровья после развития рака легких могла бы включать два параметра: пол ^[4] и курящий/некурящий, и в этом случае пространство параметров представляет собой следующий набор из четырех возможностей: {(Мужчина, Курильщик), (Мужчина, Некурящий), (Женщина, Курильщик), (Женщина, Некурящий)} .

• Логистическая карта имеет один параметр r , который может принимать любое положительное значение. Таким образом, пространство параметров представляет собой положительные действительные числа . ${\displaystyle x_{n+1}=rx_{n}(1-x_{n})}$

Для некоторых значений r эта функция циклически обходит несколько значений или фиксируется на одном значении. Эти долгосрочные значения можно отобразить в зависимости от r на бифуркационной диаграмме , чтобы показать различное поведение функции для разных значений r .

• В модели синусоидальной волны параметрами являются амплитуда A > 0, угловая частота ω > 0 и фаза φ ∈ S ¹ . Таким образом, пространство параметров ${\displaystyle y(t)=A\cdot \sin(\omega t+\phi ),}$ ${\displaystyle R^{+}\times R^{+}\times S^{1}.}$

• В комплексной динамике пространство параметров представляет собой комплексную плоскость C = { z = x + y i : x, y ∈ R }, где i ² = −1.

Знаменитое множество Мандельброта представляет собой подмножество этого пространства параметров, состоящее из точек комплексной плоскости, которые дают ограниченный набор чисел, когда определенная итерированная функция многократно применяется из этой начальной точки. Остальные точки, которых нет в наборе, дают неограниченный набор чисел (они стремятся к бесконечности), когда эта функция многократно применяется из этой начальной точки.

История

Пространство параметров способствовало освобождению геометрии от ограничений трехмерного пространства . Например, пространство параметров трехмерной сферы имеет четыре измерения: три для центра сферы и одно для радиуса. По словам Дирка Стрюка , именно книга Юлиуса Плюкера «Новая геометрия де Раум» (1849 г.) показала

...геометрия не обязательно должна основываться исключительно на точках как основных элементах. Линии, плоскости, круги, сферы — все это может использоваться в качестве элементов ( Raumelemente ), на которых может основываться геометрия. Эта плодотворная концепция пролила новый свет как на синтетическую, так и на алгебраическую геометрию и создала новые формы двойственности. Число измерений конкретной формы геометрии теперь может быть любым положительным числом, в зависимости от количества параметров, необходимых для определения «элемента». ^{[5] : 165}

Требование более высоких размеров иллюстрируется геометрией линий Плюкера . Стройк пишет

Геометрию линий [Плюкера] в трехмерном пространстве можно рассматривать как четырехмерную геометрию или, как подчеркнул Кляйн , как геометрию четырехмерной квадрики в пятимерном пространстве. ^{[5] : 168}

Таким образом, квадрика Клейна описывает параметры прямых в пространстве.

Смотрите также

• Образец пространства
• Конфигурационное пространство
• Анализ данных
• Уменьшение размерности
• Гиперпараметр (машинное обучение)
• Выбор модели
• Параметрическое уравнение
• Параметрическая поверхность
• Фазовое пространство

Рекомендации

1. Хаяши, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 446. ИСБН 0-691-01018-8.
2. Навон, Авив; Шамсян, Авив; Ачитуве, Идан; Фетайя, Итан; Чечик, Гал; Марон, Аггей (3 июля 2023 г.). «Эквивариантные архитектуры для обучения в пространствах с глубоким весом». Материалы 40-й Международной конференции по машинному обучению . ПМЛР: 25790–25816.
3. Хехт-Нильсен, Роберт (1990-01-01), Экмиллер, Рольф (редактор), «ОБ АЛГЕБРАИЧЕСКОЙ СТРУКТУРЕ ВЕСОВЫХ ПРОСТРАНСТВ СЕТИ С УПРАВЛЕНИЕМ», Advanced Neural Computers , Амстердам: Северная Голландия, стр. 129–135, ISBN 978-0-444-88400-8, получено 1 декабря 2023 г.
4. Гасперино, Дж.; Ром, WN (2004). «Гендер и рак легких». Клинический рак легких . 5 (6): 353–359. doi :10.3816/CLC.2004.n.013. ПМИД  15217534.
5. Дирк Струик (1967) Краткая история математики , 3-е издание, Dover Books