Анализ чувствительности

Изучение неопределенности выходных данных математической модели или системы

Анализ чувствительности — это изучение того, как неопределенность на выходе математической модели или системы (численной или иной) может быть разделена и распределена по различным источникам неопределенности на входах. ^{[1] [2]} Это включает в себя оценку индексов чувствительности, которые количественно определяют влияние входа или группы входов на выход. Связанная практика — анализ неопределенности , который больше фокусируется на количественной оценке неопределенности и распространении неопределенности ; в идеале анализ неопределенности и чувствительности следует проводить одновременно.

Мотивация

Математическая модель (например, в биологии, изменении климата, экономике, возобновляемой энергетике, агрономии...) может быть очень сложной, и в результате ее отношения между входами и выходами могут быть неправильно поняты. В таких случаях модель можно рассматривать как черный ящик , т. е. выход является «непрозрачной» функцией ее входов. Довольно часто некоторые или все входы модели подвержены источникам неопределенности , включая ошибки измерения , ошибки во входных данных, оценке параметров и процедуре аппроксимации, отсутствие информации и плохое или частичное понимание движущих сил и механизмов, выбор базовой гипотезы модели и т. д. Эта неопределенность ограничивает нашу уверенность в надежности отклика или выхода модели. Кроме того, модели могут иметь дело с естественной внутренней изменчивостью системы (алеаторной), такой как возникновение стохастических событий. ^[3]

В моделях, включающих множество входных переменных, анализ чувствительности является важнейшим компонентом построения модели и обеспечения качества и может быть полезен для определения влияния неопределенной переменной для ряда целей, ^[4] включая:

• Проверка надежности результатов модели или системы в условиях неопределенности.
• Более глубокое понимание взаимосвязей между входными и выходными переменными в системе или модели.
• Снижение неопределенности путем выявления входных данных модели, которые вызывают значительную неопределенность выходных данных и, следовательно, должны находиться в центре внимания с целью повышения надежности.
• Поиск ошибок в модели (путем обнаружения неожиданных связей между входами и выходами).
• Упрощение модели — исправление входных данных модели, которые не влияют на выходные данные, или выявление и удаление избыточных частей структуры модели.
• Улучшение коммуникации между разработчиками моделей и лицами, принимающими решения (например, путем повышения достоверности, понятности, убедительности и наглядности рекомендаций).
• Поиск областей в пространстве входных факторов, для которых выход модели является максимальным или минимальным, или соответствует некоторому оптимальному критерию (см. оптимизацию и фильтрацию Монте-Карло ).
• Для калибровки моделей с большим количеством параметров, сосредоточившись на чувствительных параметрах. ^[5]
• Определить важные связи между наблюдениями, входными данными модели и предсказаниями или прогнозами, что приведет к разработке лучших моделей. ^{[6] [7]}

Математическая формулировка и словарный запас

Рисунок 1. Схематическое представление анализа неопределенности и анализа чувствительности. В математическом моделировании неопределенность возникает из различных источников - ошибок во входных данных, оценке параметров и процедуре аппроксимации, базовой гипотезе, выборе модели, альтернативных структурах модели и т. д. Они распространяются по модели и оказывают влияние на выходные данные. Неопределенность на выходе описывается с помощью анализа неопределенности (представлена ​​в виде pdf на выходе), а их относительная важность количественно определяется с помощью анализа чувствительности (представленного в виде круговых диаграмм, показывающих долю, которую каждый источник неопределенности вносит в общую неопределенность выходных данных).

Объектом исследования для анализа чувствительности является функция (называемая « математической моделью » или « программным кодом »), рассматриваемая как черный ящик с -мерным входным вектором и выходным вектором , представленным следующим образом: ${\displaystyle f}$ ${\displaystyle p}$ ${\displaystyle X=(X_{1},...,X_{p})}$ ${\displaystyle Y}$

$${\displaystyle Y=f(X).}$$

Изменчивость входных параметров влияет на выход . В то время как анализ неопределенности направлен на описание распределения выходных данных (предоставляя их статистику , моменты , pdf , cdf ,...), анализ чувствительности направлен на измерение и количественную оценку влияния каждого входного параметра или группы входных параметров на изменчивость выходных данных (путем расчета соответствующих индексов чувствительности). На рисунке 1 представлено схематическое изображение этого утверждения. ${\displaystyle X_{i},i=1,\ldots ,p}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X_{i}}$ ${\displaystyle Y}$

Проблемы, настройки и связанные с ними вопросы

Принимая во внимание неопределенность, возникающую из разных источников, будь то в контексте анализа неопределенности или анализа чувствительности (для расчета индексов чувствительности), требуется несколько выборок неопределенных параметров и, следовательно, многократное выполнение модели (оценка -функции). В зависимости от сложности модели существует множество проблем, с которыми можно столкнуться во время оценки модели. Поэтому выбор метода анализа чувствительности обычно диктуется рядом ограничений проблемы, настроек или проблем. Вот некоторые из наиболее распространенных: ${\displaystyle f}$

• Вычислительные затраты: Анализ чувствительности почти всегда выполняется путем запуска модели (возможно, большого) количества раз, т.е. выборочного подхода. ^[8] Это может стать серьезной проблемой, когда:
  • Модели, требующие много времени, очень часто встречаются, когда задействованы сложные модели. Один запуск модели занимает значительное время (минуты, часы или больше). Использование статистической модели (мета-модели, модели, управляемой данными ), включая HDMR, для аппроксимации -функции является одним из способов снижения затрат на вычисления. ${\displaystyle f}$
  • Модель имеет большое количество неопределенных входов. Анализ чувствительности по сути является исследованием многомерного входного пространства , которое экспоненциально растет в размерах с количеством входов. Поэтому методы скрининга могут быть полезны для уменьшения размерности. Другой способ борьбы с проклятием размерности — использовать выборку, основанную на последовательностях с низким расхождением. ^[9]
• Коррелированные входные данные: большинство распространенных методов анализа чувствительности предполагают независимость между входными данными модели, но иногда входные данные могут быть сильно коррелированы. Корреляции между входными данными должны быть учтены в анализе. ^[10]
• Нелинейность: Некоторые подходы к анализу чувствительности, например, основанные на линейной регрессии , могут неточно измерять чувствительность, когда отклик модели нелинеен по отношению к ее входным данным. В таких случаях более подходящими являются измерения, основанные на дисперсии .
• Множественные или функциональные выходы: Обычно вводимый для кодов с одним выходом , анализ чувствительности распространяется на случаи, когда выход является вектором или функцией. ^[11] Когда выходы коррелированы, это не исключает возможности выполнения различных анализов чувствительности для каждого интересующего выхода. Однако для моделей, в которых выходы коррелированы, меры чувствительности могут быть трудно интерпретируемыми. ${\displaystyle Y}$
• Стохастический код: Код называется стохастическим, когда для нескольких оценок кода с одними и теми же входами получаются разные выходные данные (в отличие от детерминированного кода, когда для нескольких оценок кода с одними и теми же входами всегда получается один и тот же выходной результат). В этом случае необходимо отделить изменчивость выходного результата, обусловленную изменчивостью входных данных, от изменчивости выходного результата, обусловленной стохастичностью. ^[12]

• Подход, основанный на данных: Иногда невозможно оценить код во всех желаемых точках, либо потому что код конфиденциальен, либо потому что эксперимент невоспроизводим. Выходные данные кода доступны только для заданного набора точек, и может быть сложно выполнить анализ чувствительности на ограниченном наборе данных. Затем мы строим статистическую модель (метамодель, модель, основанная на данных ) из доступных данных (которые мы используем для обучения) для аппроксимации кода (-функции ). ^[13] ${\displaystyle f}$

Для устранения различных ограничений и проблем в литературе предложен ряд методов анализа чувствительности, которые мы рассмотрим в следующем разделе.

Методы анализа чувствительности

Существует большое количество подходов к проведению анализа чувствительности, многие из которых были разработаны для решения одного или нескольких ограничений, обсуждавшихся выше. Они также различаются по типу меры чувствительности, будь то на основе (например) дисперсионных разложений , частных производных или элементарных эффектов . В целом, однако, большинство процедур придерживаются следующей схемы:

1. Количественно оценить неопределенность в каждом входе (например, диапазоны, распределения вероятностей). Обратите внимание, что это может быть сложно, и существует много методов для выявления распределений неопределенности из субъективных данных. ^[14]
2. Определите выходные данные модели, которые необходимо проанализировать (в идеале интересующая цель должна иметь прямое отношение к проблеме, решаемой моделью).
3. Запустите модель несколько раз, используя определенный план экспериментов ^[15] , продиктованный выбранным методом и неопределенностью входных данных.
4. Используя полученные результаты модели, рассчитайте интересующие вас показатели чувствительности.

В некоторых случаях эта процедура будет повторяться, например, в многомерных задачах, где пользователю необходимо отсеять неважные переменные перед выполнением полного анализа чувствительности.

Различные типы «основных методов» (обсуждаемые ниже) различаются по различным мерам чувствительности, которые рассчитываются. Эти категории могут каким-то образом перекрываться. Могут быть даны альтернативные способы получения этих мер в рамках ограничений проблемы. Кроме того, также был предложен инженерный взгляд на методы, который учитывает четыре важных параметра анализа чувствительности. ^[16]

Визуальный анализ

Рисунок 2. Анализ чувствительности на основе выборки с помощью диаграмм рассеяния. Y (вертикальная ось) является функцией четырех факторов. Точки на четырех диаграммах рассеяния всегда одинаковы, хотя и сортируются по-разному, т. е. поочередно по Z ₁ , Z ₂ , Z ₃ , Z ₄ . Обратите внимание, что абсцисса для каждого графика разная: (−5, +5) для Z ₁ , (−8, +8) для Z ₂ , (−10, +10) для Z ₃ и Z ₄ . Z ₄ наиболее важен для влияния на Y , поскольку он придает большую «форму» Y .

Первый интуитивный подход (особенно полезный в менее сложных случаях) заключается в анализе взаимосвязи между каждым входом и выходом с помощью диаграмм рассеяния и наблюдении за поведением этих пар. Диаграммы дают начальное представление о корреляции и о том, какой вход влияет на выход. На рисунке 2 показан пример, где два входа и сильно коррелируют с выходом. ${\displaystyle Z_{i}}$ ${\displaystyle Y}$ ${\displaystyle Z_{3}}$ ${\displaystyle Z_{4}}$

По одному (OAT)

Один из самых простых и распространенных подходов — это изменение одного фактора за раз (OAT), чтобы увидеть, какой эффект это производит на результат. ^{[17] [18] [19]} OAT обычно включает в себя

• перемещая одну входную переменную, сохраняя другие на их базовых (номинальных) значениях, затем,
• возвращая переменную к ее номинальному значению, затем повторяя то же самое для каждого из других входных данных.

Чувствительность затем может быть измерена путем мониторинга изменений в выходных данных, например, с помощью частных производных или линейной регрессии . Это кажется логичным подходом, поскольку любое изменение, наблюдаемое в выходных данных, будет однозначно обусловлено изменением одной переменной. Кроме того, изменяя одну переменную за раз, можно сохранить все остальные переменные фиксированными на их центральных или базовых значениях. Это увеличивает сопоставимость результатов (все «эффекты» вычисляются относительно одной и той же центральной точки в пространстве) и сводит к минимуму вероятность сбоев компьютерной программы, более вероятных при одновременном изменении нескольких входных факторов. Разработчики моделей часто предпочитают OAT по практическим причинам. В случае сбоя модели при анализе OAT разработчик модели сразу же узнает, какой входной фактор ответственен за сбой.

Однако, несмотря на свою простоту, этот подход не полностью исследует входное пространство, поскольку не учитывает одновременное изменение входных переменных. Это означает, что подход OAT не может обнаружить наличие взаимодействий между входными переменными и не подходит для нелинейных моделей. ^[20]

Доля входного пространства, которая остается неисследованной при подходе OAT, растет сверхэкспоненциально с числом входов. Например, пространство параметров с 3 переменными, которое исследуется по одному за раз, эквивалентно взятию точек вдоль осей x, y и z куба с центром в начале координат. Выпуклая оболочка, ограничивающая все эти точки, представляет собой октаэдр , объем которого составляет всего 1/6 от общего пространства параметров. В более общем смысле, выпуклая оболочка осей гиперпрямоугольника образует гипероктаэдр , объемная доля которого составляет . При 5 входах исследованное пространство уже падает до менее 1% от общего пространства параметров. И даже это завышенная оценка, поскольку объем вне оси фактически вообще не выбирается. Сравните это со случайной выборкой пространства, где выпуклая оболочка приближается ко всему объему по мере добавления большего количества точек. ^[21] Хотя разреженность OAT теоретически не является проблемой для линейных моделей , истинная линейность в природе встречается редко. ${\displaystyle 1/n!}$

Моррис

Названный в честь статистика Макса Д. Морриса, этот метод подходит для скрининга систем со многими параметрами. Он также известен как метод элементарных эффектов, поскольку он объединяет повторяющиеся шаги вдоль различных параметрических осей. ^[22]

Локальные методы на основе производных

Методы, основанные на локальных производных, предполагают взятие частной производной выходного сигнала по входному фактору : ${\displaystyle Y}$ ${\displaystyle X_{i}}$

${\displaystyle \left|{\frac {\partial Y}{\partial X_{i}}}\right|_{{\textbf {x}}^{0}},}$

где нижний индекс x ⁰ указывает, что производная берется в некоторой фиксированной точке в пространстве входных данных (отсюда и «локальный» в названии класса). Сопряженное моделирование ^{[23] [24]} и автоматическое дифференцирование ^[25] — это методы, которые позволяют вычислять все частные производные с затратами не более 4-6 раз больше, чем для оценки исходной функции. Подобно OAT, локальные методы не пытаются полностью исследовать входное пространство, поскольку они изучают небольшие возмущения, как правило, по одной переменной за раз. Можно выбрать похожие образцы из чувствительности на основе производных с помощью нейронных сетей и выполнить количественную оценку неопределенности.

Одним из преимуществ локальных методов является возможность создания матрицы, представляющей все чувствительности в системе, тем самым обеспечивая обзор, который невозможно получить с помощью глобальных методов, если имеется большое количество входных и выходных переменных. ^[26]

Регрессионный анализ

Регрессионный анализ в контексте анализа чувствительности включает в себя подгонку линейной регрессии к отклику модели и использование стандартизированных коэффициентов регрессии в качестве прямых мер чувствительности. Регрессия должна быть линейной по отношению к данным (т. е. гиперплоскость, следовательно, без квадратичных членов и т. д. в качестве регрессоров), поскольку в противном случае сложно интерпретировать стандартизированные коэффициенты. Поэтому этот метод наиболее подходит, когда отклик модели фактически линейный; линейность может быть подтверждена, например, если коэффициент детерминации велик. Преимущества регрессионного анализа в том, что он прост и имеет низкие вычислительные затраты.

Методы, основанные на дисперсии

Методы, основанные на дисперсии ^[27], представляют собой класс вероятностных подходов, которые количественно определяют неопределенности входных и выходных данных как случайные величины , представленные через их распределения вероятностей , и разлагают дисперсию выходных данных на части, приписываемые входным переменным и комбинациям переменных. Чувствительность выходных данных к входной переменной, таким образом, измеряется величиной дисперсии выходных данных, вызванной этими входными данными.

Эта величина количественно определяется и рассчитывается с использованием индексов Соболя : они представляют собой долю дисперсии, объясняемую входом или группой входов. Это выражение по сути измеряет вклад одного в неопределенность (дисперсию) в (усредненную по вариациям других переменных) и известно как индекс чувствительности первого порядка или индекс основного эффекта . ${\displaystyle X_{i}}$ ${\displaystyle Y}$

Для входных данных индекс Соболя определяется следующим образом: ${\displaystyle X_{i}}$

$${\displaystyle S_{i}={\frac {V(\mathbb {E} [Y\vert X_{i}])}{V(Y)}}}$$где и обозначают операторы дисперсии и ожидаемого значения соответственно. ${\displaystyle V(\cdot )}$ ${\displaystyle \mathbb {E} [\cdot ]}$

Важно отметить, что индекс чувствительности первого порядка не измеряет неопределенность, вызванную взаимодействиями с другими переменными. Еще одна мера, известная как индекс общего эффекта , дает общую дисперсию в , вызванную и ее взаимодействиями с любыми другими входными переменными. Индекс общего эффекта задается следующим образом: где обозначает набор всех входных переменных, за исключением . ${\displaystyle X_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle Y}$ ${\displaystyle X_{i}}$ $${\displaystyle S_{i}^{T}=1-{\frac {V(\mathbb {E} [Y\vert X_{\sim i}])}{V(Y)}}}$$ ${\displaystyle X_{\sim i}=(X_{1},...,X_{i-1},X_{i+1},...,X_{p})}$ ${\displaystyle X_{i}}$

Методы, основанные на дисперсии, позволяют полностью исследовать входное пространство, учитывая взаимодействия и нелинейные отклики. По этим причинам они широко используются, когда их можно вычислить. Обычно этот расчет включает использование методов Монте-Карло , но поскольку это может включать в себя многие тысячи прогонов модели, другие методы (например, метамодели) могут использоваться для сокращения вычислительных затрат, когда это необходимо.

Методы, не зависящие от момента

Методы, не зависящие от момента, расширяют методы, основанные на дисперсии, рассматривая плотность вероятности или кумулятивную функцию распределения выходных данных модели . Таким образом, они не ссылаются на какой-либо конкретный момент , откуда и произошло название. ${\displaystyle Y}$ ${\displaystyle Y}$

Независимые от момента меры чувствительности , здесь обозначенные как , могут быть определены с помощью уравнения, аналогичного индексам на основе дисперсии, заменяющим условное ожидание расстоянием, как , где — статистическое расстояние [метрика или расхождение] между мерами вероятности, а — предельные и условные меры вероятности . ^[28] ${\displaystyle X_{i}}$ ${\displaystyle \xi _{i}}$ ${\displaystyle \xi _{i}=E[d(P_{Y},P_{Y|X_{i}})]}$ ${\displaystyle d(\cdot ,\cdot )}$ ${\displaystyle P_{Y}}$ ${\displaystyle P_{Y|X_{i}}}$ ${\displaystyle Y}$

Если — расстояние , то моментно-независимая глобальная мера чувствительности удовлетворяет нулевой независимости. Это важное статистическое свойство, также известное как постулат Реньи D. ^[29] ${\displaystyle d()\geq 0}$

Класс моментно-независимых мер чувствительности включает такие индикаторы, как мера -важности, ^[30] новый коэффициент корреляции Чаттерджи, ^[31] корреляция Вассерштейна Визеля ^[32] и меры чувствительности на основе ядра Барра и Рабица. ^[33] ${\displaystyle \delta }$

Другой мерой для глобального анализа чувствительности в категории подходов, независимых от момента, является индекс PAWN. ^[34] Он опирается на кумулятивные функции распределения (CDF) для характеристики максимального расстояния между безусловным выходным распределением и условным выходным распределением (полученным путем варьирования всех входных параметров и последовательной установки -го входа). Разница между безусловным и условным выходным распределением обычно вычисляется с помощью теста Колмогорова-Смирнова (KS). Затем индекс PAWN для заданного входного параметра получается путем вычисления сводной статистики по всем значениям KS. ${\displaystyle i}$^{[ необходима цитата ]}

Анализ вариограмм поверхностей отклика (ВАРС)

Одним из основных недостатков предыдущих методов анализа чувствительности является то, что ни один из них не учитывает пространственно упорядоченную структуру поверхности отклика/выход модели в пространстве параметров. Используя концепции направленных вариограмм и ковариограмм, вариограммный анализ поверхностей отклика (VARS) устраняет эту слабость, распознавая пространственно непрерывную структуру корреляции значений , а следовательно, и значений . ^{[35] [36]} ${\displaystyle Y=f(X)}$ ${\displaystyle Y}$ ${\displaystyle {\frac {\partial Y}{\partial x_{i}}}}$

В принципе, чем выше изменчивость, тем более неоднородной является поверхность отклика вдоль определенного направления/параметра при определенном масштабе возмущения. Соответственно, в рамках VARS значения направленных вариограмм для данного масштаба возмущения можно рассматривать как всеобъемлющую иллюстрацию информации о чувствительности, посредством связывания анализа вариограмм с концепциями как направления, так и масштаба возмущения. В результате, структура VARS учитывает тот факт, что чувствительность является зависимой от масштаба концепцией, и, таким образом, преодолевает проблему масштаба традиционных методов анализа чувствительности. ^[37] Что еще более важно, VARS способен предоставлять относительно стабильные и статистически надежные оценки чувствительности параметров с гораздо меньшими вычислительными затратами, чем другие стратегии (примерно на два порядка эффективнее). ^[38] Примечательно, что было показано, что существует теоретическая связь между структурой VARS и подходами, основанными на дисперсии и производной.

Тест чувствительности амплитуды Фурье (FAST)

Тест амплитудной чувствительности Фурье (FAST) использует ряд Фурье для представления многомерной функции (модели) в частотной области с использованием одной частотной переменной. Таким образом, интегралы, необходимые для расчета индексов чувствительности, становятся одномерными, что приводит к экономии вычислительных ресурсов.

Эффект Шепли

Эффекты Шепли опираются на значения Шепли и представляют собой средний предельный вклад данного фактора во всех возможных комбинациях факторов. Эти значения связаны с индексами Соболя, поскольку их значение находится между эффектом Соболя первого порядка и эффектом общего порядка. ^[39]

Многочлены хаоса

Принцип заключается в проектировании интересующей функции на базис ортогональных полиномов. Индексы Соболя затем аналитически выражаются через коэффициенты этого разложения. ^[40]

Дополнительные исследовательские подходы для трудоемкого моделирования

Разработан ряд методов для преодоления некоторых ограничений, обсуждавшихся выше, которые в противном случае сделали бы оценку мер чувствительности невозможной (чаще всего из-за вычислительных затрат ). Как правило, эти методы фокусируются на эффективном (путем создания метамодели дорогостоящей функции, подлежащей оценке, и/или «разумной» выборки факторного пространства) расчете дисперсионных мер чувствительности.

Метамодели

Метамодели (также известные как эмуляторы, суррогатные модели или поверхности отклика) — это подходы к моделированию данных / машинному обучению , которые включают построение относительно простой математической функции, известной как метамодель , которая аппроксимирует поведение ввода/вывода самой модели. ^[41] Другими словами, это концепция «моделирования модели» (отсюда и название «метамодель»). Идея заключается в том, что, хотя компьютерные модели могут представлять собой очень сложную серию уравнений, решение которых может занять много времени, их всегда можно рассматривать как функцию их входных данных . Запустив модель в нескольких точках входного пространства, можно подогнать гораздо более простую метамодель , так чтобы она соответствовала приемлемому пределу погрешности. ^[42] Затем из метамодели можно рассчитать меры чувствительности (либо с помощью Монте-Карло, либо аналитически), что будет иметь незначительные дополнительные вычислительные затраты. Важно отметить, что количество прогонов модели, необходимое для подгонки метамодели, может быть на несколько порядков меньше количества прогонов, необходимых для прямой оценки показателей чувствительности модели. ^[43] ${\displaystyle Y=f(X)}$ ${\displaystyle {\hat {f}}(X)}$ ${\displaystyle {\hat {f}}(X)\approx f(X)}$

Очевидно, суть подхода метамодели заключается в том, чтобы найти (метамодель), которая является достаточно близким приближением к модели . Для этого требуются следующие шаги: ${\displaystyle {\hat {f}}(X)}$ ${\displaystyle f(X)}$

1. Выборка (запуск) модели в ряде точек ее входного пространства. Для этого требуется выборочный дизайн.
2. Выбор типа эмулятора (математической функции) для использования.
3. «Обучение» метамодели с использованием выборочных данных из модели — это обычно включает в себя корректировку параметров метамодели до тех пор, пока метамодель не начнет максимально точно имитировать истинную модель.

Выборка модели часто может быть сделана с помощью последовательностей с низким расхождением , таких как последовательность Соболя — благодаря математику Илье М. Соболю или латинская выборка гиперкуба , хотя случайные конструкции также могут быть использованы, с потерей некоторой эффективности. Выбор типа метамодели и обучение неразрывно связаны, поскольку метод обучения будет зависеть от класса метамодели. Некоторые типы метамоделей, которые были успешно использованы для анализа чувствительности, включают:

• Гауссовские процессы ^[43] (также известные как кригинг ), где любая комбинация выходных точек предполагается распределенной как многомерное гауссовское распределение . В последнее время «древовидные» гауссовские процессы использовались для работы с гетероскедастическими и прерывистыми ответами. ^{[44] [45]}
• Случайные леса [ ^41], в которых обучается большое количество деревьев решений , а результат усредняется.
• Градиентный бустинг ^[41] , где последовательность простых регрессий используется для взвешивания точек данных с целью последовательного уменьшения ошибки.
• Полиномиальные разложения хаоса ^[46], которые используют ортогональные полиномы для аппроксимации поверхности отклика.
• Сглаживающие сплайны [ ^47] обычно используются в сочетании с усечениями многомерного представления модели (HDMR) (см. ниже).
• Дискретные байесовские сети , ^[48] в сочетании с каноническими моделями, такими как шумовые модели. Шумовые модели используют информацию об условной независимости между переменными для значительного снижения размерности.

Использование эмулятора вносит проблему машинного обучения , которая может быть сложной, если отклик модели сильно нелинейный . Во всех случаях полезно проверить точность эмулятора, например, с помощью перекрестной проверки .

Представления многомерных моделей (HDMR)

Представление модели высокой размерности (HDMR) ^{[49] [50]} (термин принадлежит Х. Рабицу ^[51] ) по сути является подходом эмулятора, который включает в себя разложение выходных данных функции на линейную комбинацию входных членов и взаимодействий увеличивающейся размерности. Подход HDMR использует тот факт, что модель обычно может быть хорошо аппроксимирована путем пренебрежения взаимодействиями более высокого порядка (второго или третьего порядка и выше). Затем члены в усеченном ряду могут быть аппроксимированы, например, полиномами или сплайнами (REFS), а отклик может быть выражен как сумма основных эффектов и взаимодействий вплоть до порядка усечения. С этой точки зрения HDMR можно рассматривать как эмуляторы, которые пренебрегают взаимодействиями высокого порядка; преимущество состоит в том, что они способны эмулировать модели с более высокой размерностью, чем эмуляторы полного порядка.

Фильтрация Монте-Карло

Анализ чувствительности с помощью фильтрации Монте-Карло ^[52] также является подходом, основанным на выборке, целью которого является выявление областей в пространстве входных факторов, соответствующих определенным значениям (например, высоким или низким) выходных данных.

Связанные концепции

Анализ чувствительности тесно связан с анализом неопределенности; в то время как последний изучает общую неопределенность в выводах исследования, анализ чувствительности пытается определить, какой источник неопределенности оказывает большее влияние на выводы исследования.

Постановка проблемы в анализе чувствительности также имеет сильное сходство с областью проектирования экспериментов . ^[53] При проектировании экспериментов изучается влияние некоторого процесса или вмешательства («обработки») на некоторые объекты («экспериментальные единицы»). В анализе чувствительности рассматривается влияние изменения входных данных математической модели на выход самой модели. В обеих дисциплинах стремятся получить информацию из системы с минимумом физических или численных экспериментов.

Аудит чувствительности

Может случиться, что анализ чувствительности исследования на основе модели призван подкрепить вывод и подтвердить его надежность в контексте, где вывод вписывается в политику или процесс принятия решений. В этих случаях фрейминг самого анализа, его институциональный контекст и мотивы его автора могут стать вопросом большой важности, а чистый анализ чувствительности — с его акцентом на параметрической неопределенности — может считаться недостаточным. Акцент на фрейминге может вытекать, в частности, из релевантности исследования политики для различных избирательных округов, которые характеризуются различными нормами и ценностями, и, следовательно, из разной истории о том, «в чем проблема», и, прежде всего, о том, «кто рассказывает историю». Чаще всего фрейминг включает в себя более или менее неявные предположения, которые могут быть политическими (например, какую группу нужно защищать) вплоть до технических (например, какую переменную можно рассматривать как константу).

Чтобы должным образом учесть эти опасения, инструменты SA были расширены для предоставления оценки всего процесса создания знаний и моделей. Этот подход был назван «аудитом чувствительности». Он черпает вдохновение из NUSAP ^[54] , метода, используемого для квалификации ценности количественной информации с генерацией «родословных» чисел. Аудит чувствительности был специально разработан для состязательного контекста, где не только характер доказательств, но и степень определенности и неопределенности, связанных с доказательствами, будут предметом партийных интересов. ^[55] Аудит чувствительности рекомендуется в руководящих принципах Европейской комиссии по оценке воздействия ^[56] , а также в отчете «Научные рекомендации по политике» Европейских академий ^{[57] .}

Подводные камни и трудности

Некоторые распространенные трудности при анализе чувствительности включают в себя:

• Предположения против выводов: В анализе неопределенности и чувствительности существует решающий компромисс между тем, насколько скрупулезен аналитик в изучении входных предположений и насколько широким может быть полученный вывод . Этот момент хорошо проиллюстрировал эконометрист Эдвард Э. Лимер : ^{[58] [59]}

«Я предложил форму организованного анализа чувствительности, которую я называю «глобальным анализом чувствительности», в котором выбирается окрестность альтернативных предположений и определяется соответствующий интервал выводов. Выводы считаются надежными только в том случае, если окрестность предположений достаточно широка, чтобы быть достоверной, а соответствующий интервал выводов достаточно узок, чтобы быть полезным».

Примечание. Лимер делает акцент на необходимости «достоверности» при выборе предположений. Самый простой способ сделать модель недействительной — продемонстрировать, что она хрупка по отношению к неопределенности предположений или показать, что ее предположения не были «достаточно широко» приняты. Та же концепция выражена Джеромом Р. Раветцем, для которого плохое моделирование — это когда неопределенности во входных данных должны быть подавлены, чтобы выходные данные не стали неопределенными. ^[60]

• Недостаточно информации для построения распределений вероятностей для входных данных: Распределения вероятностей могут быть построены на основе экспертных оценок , хотя даже в этом случае может быть сложно построить распределения с большой уверенностью. Субъективность распределений вероятностей или диапазонов будет сильно влиять на анализ чувствительности.
• Неясная цель анализа: к проблеме применяются различные статистические тесты и меры, и получаются различные рейтинги факторов. Вместо этого тест должен быть адаптирован к цели анализа, например, можно использовать фильтрацию Монте-Карло, если интересно, какие факторы в наибольшей степени ответственны за генерацию высоких/низких значений выходных данных.
• Рассматривается слишком много выходных данных модели: это может быть приемлемо для обеспечения качества подмоделей, но этого следует избегать при представлении результатов общего анализа.
• Кусочная чувствительность: это когда выполняется анализ чувствительности на одной подмодели за раз. Этот подход не является консервативным, поскольку он может упускать из виду взаимодействия между факторами в разных подмоделях (ошибка типа II).

ЮАР в международном контексте

Важность понимания и управления неопределенностью в результатах моделирования вдохновила многих ученых из различных исследовательских центров по всему миру проявить пристальный интерес к этой теме. Национальные и международные агентства, занимающиеся исследованиями по оценке воздействия , включили в свои руководящие принципы разделы, посвященные анализу чувствительности. Примерами являются Европейская комиссия (см., например, руководящие принципы оценки воздействия ), ^[56] Управление по управлению и бюджету Белого дома , Межправительственная группа экспертов по изменению климата и Агентство по охране окружающей среды США с руководящими принципами моделирования. ^[61]

Конкретные применения анализа чувствительности

На следующих страницах обсуждается анализ чувствительности применительно к конкретным приложениям:

• Науки об окружающей среде
• Бизнес
• Эпидемиология
• Многокритериальное принятие решений
• Калибровка модели

Смотрите также

• Причинность
• Метод элементарных эффектов
• Экспериментальный анализ неопределенности
• Тестирование чувствительности амплитуды Фурье
• Теория принятия решений на основе информационного разрыва
• Интервальный МКЭ
• Анализ возмущений
• Вероятностный дизайн
• Анализ границ вероятности
• Робустификация
• ROC-кривая
• Количественная оценка неопределенности
• Анализ чувствительности на основе дисперсии
• Анализ мультивселенной
• Выбор характеристик

Ссылки

1. Салтелли, А.; Ратто, М.; Андреас, Т.; Камполонго, Ф.; Гарибони, Дж.; Гателли, Д.; Сайсана, М.; Тарантола, С. (2008). Глобальный анализ чувствительности: введение . Джон Уайли и сыновья. дои : 10.1002/9780470725184. ISBN 978-0-470-05997-5.
2. Салтелли, А.; Тарантола, С.; Камполонго, Ф.; Ратто, М. (2004). Анализ чувствительности на практике: руководство по оценке научных моделей . Том. 1. дои : 10.1002/0470870958. ISBN 978-0-470-87093-8.
3. Дер Кюрегян, А.; Дитлевсен, О. (2009). «Алеаторный или эпистемический? Имеет ли это значение?». Structural Safety . 31 (2): 105–112. doi :10.1016/j.strusafe.2008.06.020.
4. Паннелл, DJ (1997). «Анализ чувствительности нормативных экономических моделей: теоретическая основа и практические стратегии». Сельскохозяйственная экономика . 16 (2): 139–152. doi :10.1111/j.1574-0862.1997.tb00449.x.
5. Бахреманд, А.; Де Смедт, Ф. (2008). «Распределенное гидрологическое моделирование и анализ чувствительности в водоразделе реки Ториса, Словакия». Управление водными ресурсами . 22 (3): 293–408. Bibcode : 2008WatRM..22..393B. doi : 10.1007/s11269-007-9168-x. S2CID  9710579.
6. Хилл, М.; Кавецки, Д.; Кларк, М.; Йе, М.; Араби, М.; Лу, Д.; Фоглия, Л.; Мель, С. (2015). «Практическое использование методов анализа экономных моделей». Грунтовые воды . 54 (2): 159–170. doi : 10.1111/gwat.12330 . OSTI  1286771. PMID  25810333.
7. Хилл, М.; Тидеман, К. (2007). Эффективная калибровка модели грунтовых вод с анализом данных, чувствительности, прогнозов и неопределенности . John Wiley & Sons.
8. Helton, JC; Johnson, JD; Salaberry, CJ; Storlie, CB (2006). «Обзор методов выборочного анализа для анализа неопределенности и чувствительности». Надежность техники и безопасность систем . 91 (10–11): 1175–1209. doi :10.1016/j.ress.2005.11.017.
9. Цветкова, О.; Уарда, TBMJ (2019). «Метод квази-Монте-Карло в глобальном анализе чувствительности оценки ветровых ресурсов с исследованием UAE» (PDF) . Журнал возобновляемой и устойчивой энергетики . 11 (5): 053303. doi :10.1063/1.5120035. S2CID  208835771.
10. Chastaing, G.; Gamboa, F.; Prieur, C. (2012). «Обобщенное разложение Хеффдинга-Соболя для зависимых переменных — применение к анализу чувствительности». Electronic Journal of Statistics . 6 : 2420–2448. arXiv : 1112.1788 . doi : 10.1214/12-EJS749. ISSN  1935-7524.
11. Гамбоа, Ф.; Жанон, А.; Кляйн, Т.; Ланьо, А. (2014). «Анализ чувствительности для многомерных и функциональных выходов». Электронный журнал статистики . 8 : 575–603. arXiv : 1311.1797 . doi : 10.1214/14-EJS895. ISSN  1935-7524.
12. Маррел, А.; Иосс, Б.; Да Вейга, С.; Рибатет, М. (2012). «Глобальный анализ чувствительности стохастических компьютерных моделей с совместными метамоделями». Статистика и вычисления . 22 (3): 833–847. doi :10.1007/s11222-011-9274-8. ISSN  0960-3174.
13. Маррел, А.; Иосс, Б.; Ван Дорпе, Ф.; Волкова, Е. (2008). «Эффективная методология моделирования сложных компьютерных кодов с помощью гауссовых процессов». Computational Statistics & Data Analysis . 52 (10): 4731–4744. arXiv : 0802.1099 . doi :10.1016/j.csda.2008.03.026.
14. О'Хаган, А. и др. (2006). Неопределенные суждения: выявление вероятностей экспертов. Чичестер: Wiley. ISBN 9780470033302.
15. Сакс, Дж.; Уэлч, У. Дж.; Митчелл, Т. Дж.; Уинн, Х. П. (1989). «Проектирование и анализ компьютерных экспериментов». Статистическая наука . 4 (4): 409–435. doi : 10.1214/ss/1177012413 .
16. Da Veiga S, Gamboa F, Iooss B, Prieur C (2021). Основы и тенденции в анализе чувствительности. SIAM. doi : 10.1137/1.9781611976694. ISBN 978-1-61197-668-7.
17. Кэмпбелл, Дж. и др. (2008). «Фотосинтетический контроль атмосферного карбонилсульфида во время вегетационного периода». Science . 322 (5904): 1085–1088. Bibcode :2008Sci...322.1085C. doi :10.1126/science.1164015. PMID  19008442. S2CID  206515456.
18. Бейлис, Р.; Эззати, М.; Каммен, Д. (2005). «Влияние биомассы и нефтяных фьючерсов на энергию в Африке на смертность и парниковые газы». Science . 308 (5718): 98–103. Bibcode :2005Sci...308...98B. doi :10.1126/science.1106881. PMID  15802601. S2CID  14404609.
19. Murphy, J.; et al. (2004). «Количественная оценка неопределенностей моделирования в большом ансамбле симуляций изменения климата». Nature . 430 (7001): 768–772. Bibcode :2004Natur.430..768M. doi :10.1038/nature02771. PMID  15306806. S2CID  980153.
20. Czitrom, Veronica (1999). «Один фактор за раз против разработанных экспериментов». American Statistician . 53 (2): 126–131. doi :10.2307/2685731. JSTOR  2685731.
21. Gatzouras, D; Giannopoulos, A (2009). «Порог для объема, охватываемого случайными точками с независимыми координатами». Israel Journal of Mathematics . 169 (1): 125–153. doi : 10.1007/s11856-009-0007-z .
22. Моррис МД (1991). «Планы факторной выборки для предварительных вычислительных экспериментов». Технометрика . 33 (2). Тейлор и Фрэнсис: 161–174. doi :10.2307/1269043. JSTOR  1269043.
23. Какучи, Дэн Г. Анализ чувствительности и неопределенности: теория . Том I. Chapman & Hall.
24. Какучи, Дэн Г.; Ионеску-Бужор, Михаэла; Навон, Майкл (2005). Анализ чувствительности и неопределенности: приложения к крупномасштабным системам . Том II. Chapman & Hall.
25. Гриванк, А. (2000). Оценка производных, принципы и методы алгоритмического дифференцирования . SIAM.
26. Кабир HD, Хосрави A, Нахаванди D, Нахаванди S. Нейронная сеть количественной оценки неопределенности на основе сходства и чувствительности. Международная объединенная конференция по нейронным сетям (IJCNN) 2020, 19 июля (стр. 1–8). IEEE.
27. Соболь, И (1990). «Оценки чувствительности нелинейных математических моделей». Математическое моделирование . 2 : 112–118.; переведено на английский язык в Соболь, И (1993). "Анализ чувствительности нелинейных математических моделей". Математическое моделирование и вычислительный эксперимент . 1 : 407–414.
28. Borgonovo E, Tarantola S, Plischke E, Morris MD (2014). «Преобразования и инвариантность в анализе чувствительности компьютерных экспериментов». Журнал Королевского статистического общества . Серия B (Статистическая методология). 76 (5): 925–947. doi :10.1111/rssb.12052. ISSN  1369-7412.
29. Реньи, А (1 сентября 1959 г.). «О мерах зависимости». Acta Mathematica Academiae Scientiarum Hungarica . 10 (3): 441–451. дои : 10.1007/BF02024507. ISSN  1588-2632.
30. Borgonovo E (июнь 2007 г.). «Новая мера важности неопределенности». Надежность техники и безопасность систем . 92 (6): 771–784. doi :10.1016/J.RESS.2006.04.015. ISSN  0951-8320.
31. Чаттерджи С. (2 октября 2021 г.). «Новый коэффициент корреляции». Журнал Американской статистической ассоциации . 116 (536): 2009–2022. arXiv : 1909.10140 . doi : 10.1080/01621459.2020.1758115. ISSN  0162-1459.
32. Wiesel JC (ноябрь 2022 г.). «Измерение ассоциации с помощью расстояний Вассерштейна». Bernoulli . 28 (4): 2816–2832. arXiv : 2102.00356 . doi :10.3150/21-BEJ1438. ISSN  1350-7265.
33. Barr J, Rabitz H (31 марта 2022 г.). «Обобщенный метод ядра для анализа глобальной чувствительности». Журнал SIAM/ASA по количественной оценке неопределенности . 10 (1). Общество промышленной и прикладной математики: 27–54. doi : 10.1137/20M1354829.
34. Pianosi F, Wagener T (2015). «Простой и эффективный метод анализа глобальной чувствительности на основе кумулятивных функций распределения». Environmental Modelling & Software . 67 : 1–11. Bibcode : 2015EnvMS..67....1P. doi : 10.1016/j.envsoft.2015.01.004 .
35. Разави, Саман; Гупта, Хошин В. (январь 2016 г.). «Новая структура для комплексного, надежного и эффективного анализа глобальной чувствительности: 1. Теория». Water Resources Research . 52 (1): 423–439. Bibcode : 2016WRR....52..423R. doi : 10.1002/2015WR017558 . ISSN  1944-7973.
36. Разави, Саман; Гупта, Хошин В. (январь 2016 г.). «Новая структура для комплексного, надежного и эффективного анализа глобальной чувствительности: 2. Применение». Water Resources Research . 52 (1): 440–455. Bibcode : 2016WRR....52..440R. doi : 10.1002/2015WR017559 . ISSN  1944-7973.
37. Haghnegahdar, Amin; Razavi, Saman (сентябрь 2017 г.). «Взгляд на анализ чувствительности моделей систем Земли и окружающей среды: о влиянии масштаба возмущения параметров». Environmental Modelling & Software . 95 : 115–131. Bibcode : 2017EnvMS..95..115H. doi : 10.1016/j.envsoft.2017.03.031.
38. Гупта, Х.; Разави, С. (2016). «Проблемы и перспективы анализа чувствительности». В Петропулос, Джордж; Шривастава, Прашант (ред.). Анализ чувствительности в моделировании наблюдения за Землей (1-е изд.). Elsevier. стр. 397–415. ISBN 9780128030318.
39. Owen AB (1 января 2014 г.). «Индексы Соболя и вектор Шепли». Журнал SIAM/ASA по количественной оценке неопределенности . 2 (1). Общество промышленной и прикладной математики: 245–251. doi :10.1137/130936233.
40. Судрет, Б. (2008). «Глобальный анализ чувствительности с использованием разложений полиномиального хаоса». Байесовские сети в надежности] . 93 (7): 964–979. doi :10.1016/j.ress.2007.04.002.
41. Storlie, CB; Swiler, LP; Helton, JC; Sallaberry, CJ (2009). «Реализация и оценка непараметрических регрессионных процедур для анализа чувствительности моделей, требующих вычислений». Надежность техники и безопасность систем . 94 (11): 1735–1763. doi :10.1016/j.ress.2009.05.007.
42. Ван, Шаньин; Фань, Кай; Ло, Нань; Цао, Янсяолу; У, Фейлунь; Чжан, Кэролин; Хеллер, Кэтрин А.; Ю, Линчун (2019-09-25). «Массовое ускорение вычислений с использованием нейронных сетей для эмуляции биологических моделей на основе механизмов». Nature Communications . 10 (1): 4354. Bibcode :2019NatCo..10.4354W. doi :10.1038/s41467-019-12342-y. ISSN  2041-1723. PMC 6761138 . PMID  31554788. 
43. Oakley, J.; O'Hagan, A. (2004). «Вероятностный анализ чувствительности сложных моделей: байесовский подход». JR Stat. Soc. B . 66 (3): 751–769. CiteSeerX 10.1.1.6.9720 . doi :10.1111/j.1467-9868.2004.05304.x. S2CID  6130150. 
44. Грэмаси, Р. Б.; Тэдди, МА (2010). «Категориальные входы, анализ чувствительности, оптимизация и регулирование важности с помощью tgp версии 2, пакета R для древовидных моделей гауссовых процессов» (PDF) . Журнал статистического программного обеспечения . 33 (6). doi : 10.18637/jss.v033.i06 .
45. Беккер, В.; Уорден, К.; Роусон, Дж. (2013). «Байесовский анализ чувствительности бифурцирующих нелинейных моделей». Механические системы и обработка сигналов . 34 (1–2): 57–75. Bibcode : 2013MSSP...34...57B. doi : 10.1016/j.ymssp.2012.05.010.
46. Судрет, Б. (2008). «Глобальный анализ чувствительности с использованием разложений полиномиального хаоса». Надежность техники и безопасность систем . 93 (7): 964–979. doi :10.1016/j.ress.2007.04.002.
47. Ратто, М.; Пагано, А. (2010). «Использование рекурсивных алгоритмов для эффективной идентификации моделей сглаживающего сплайна ANOVA». AStA Advances in Statistical Analysis . 94 (4): 367–388. doi :10.1007/s10182-010-0148-8. S2CID  7678955.
48. Карденас, IC (2019). «Об использовании байесовских сетей в качестве подхода к метамоделированию для анализа неопределенностей в анализе устойчивости склонов». Georisk: Оценка и управление рисками для инженерных систем и геологических опасностей . 13 (1): 53–65. Bibcode : 2019GAMRE..13...53C. doi : 10.1080/17499518.2018.1498524. S2CID  216590427.
49. Li, G.; Hu, J.; Wang, S.-W.; Georgopoulos, P.; Schoendorf, J.; Rabitz, H. (2006). «Представление модели случайной выборки высокой размерности (RS-HDMR) и ортогональность ее различных функций компонентов порядка». Журнал физической химии A. 110 ( 7): 2474–2485. Bibcode : 2006JPCA..110.2474L. doi : 10.1021/jp054148m. PMID  16480307.
50. Ли, Г. (2002). «Практические подходы к построению компонентных функций RS-HDMR». Журнал физической химии . 106 (37): 8721–8733. Bibcode : 2002JPCA..106.8721L. doi : 10.1021/jp014567t.
51. Rabitz, H (1989). «Системный анализ в молекулярном масштабе». Science . 246 (4927): 221–226. Bibcode :1989Sci...246..221R. doi :10.1126/science.246.4927.221. PMID  17839016. S2CID  23088466.
52. Хорнбергер, Г.; Спир, Р. (1981). «Подход к предварительному анализу экологических систем». Журнал управления окружающей средой . 7 : 7–18.
53. Box GEP, Hunter WG, Hunter, J. Stuart. Статистика для экспериментаторов [Интернет]. Нью-Йорк: Wiley & Sons
54. Ван дер Слуйс, Дж. П.; Крей, М.; Фунтович, С.; Клопрогге, П.; Равец, Дж.; Рисби, Дж. (2005). «Объединение количественных и качественных мер неопределенности в оценке окружающей среды на основе моделей: система NUSAP». Анализ рисков . 25 (2): 481–492. Bibcode : 2005RiskA..25..481V. doi : 10.1111/j.1539-6924.2005.00604.x. hdl : 1874/386039 . PMID  15876219. S2CID  15988654.
55. Ло Пиано, С.; Робинсон, М. (2019). «Экономические оценки питания и общественного здравоохранения под линзами постнормальной науки». Futures . 112 : 102436. doi : 10.1016/j.futures.2019.06.008. S2CID  198636712.
56. Европейская комиссия. 2021. «Инструментарий лучшего регулирования». 25 ноября.
57. Научные рекомендации по политике от Европейских академий, Осознание науки для политики в условиях сложности и неопределенности, Берлин, 2019.
58. Лимер, Эдвард Э. (1983). «Давайте уберем мошенничество из эконометрики». American Economic Review . 73 (1): 31–43. JSTOR  1803924.
59. Лимер, Эдвард Э. (1985). «Анализ чувствительности помог бы». American Economic Review . 75 (3): 308–313. JSTOR  1814801.
60. Равец, Дж. Р., 2007, Деловое руководство по науке , New Internationalist Publications Ltd.
61. "Архивная копия" (PDF) . Архивировано из оригинала (PDF) 2011-04-26 . Получено 2009-10-16 .{{cite web}}: CS1 maint: archived copy as title (link)

Дальнейшее чтение

• Боргоново, Э. (2017). Анализ чувствительности: Введение для ученого-менеджера. Международная серия по науке управления и исследованию операций, Springer, Нью-Йорк. [1]
• Pianosi, F.; Beven, K.; Freer, J.; Hall, JW; Rougier, J.; Stephenson, DB; Wagener, T. (2016). «Анализ чувствительности экологических моделей: систематический обзор с практическим рабочим процессом». Environmental Modelling & Software . 79 : 214–232. Bibcode :2016EnvMS..79..214P. doi : 10.1016/j.envsoft.2016.02.008 . hdl : 10871/21086 .
• Пилки, Огайо и Л. Пилки-Джарвис (2007), Бесполезная арифметика. Почему ученые-экологи не могут предсказать будущее. Нью-Йорк: Columbia University Press.
• Сантнер, Ти Джей; Уильямс, Би Джей; Нотц, Висконсин (2003) Планирование и анализ компьютерных экспериментов ; Спрингер-Верлаг.
• Хауг, Эдвард Дж.; Чой, Кюнг К.; Комков, Вадим (1986) Анализ чувствительности конструкции структурных систем . Математика в науке и технике, 177. Academic Press, Inc., Орландо, Флорида.
• Холл, К. А. С. и Дэй, Дж. У. (1977). Моделирование экосистем в теории и практике: введение с примерами. John Wiley & Sons, Нью-Йорк, штат Нью-Йорк. isbn=978-0-471-34165-9.

Внешние ссылки

• Веб-сайт с материалами серии конференций SAMO (1995-2025)