stringtranslate.com

Объяснимый искусственный интеллект

Объяснимый ИИ ( XAI ), часто пересекающийся с интерпретируемым ИИ или объяснимым машинным обучением ( XML ), относится либо к системе искусственного интеллекта (ИИ), над которой люди могут сохранять интеллектуальный надзор , либо относится к методам достижения этого. [1] [2] Основное внимание обычно уделяется обоснованию решений или прогнозов, сделанных ИИ [3], которые делаются более понятными и прозрачными. [4] XAI противостоит тенденции « черного ящика » машинного обучения, когда даже разработчики ИИ не могут объяснить, почему он пришел к определенному решению. [5] [6]

XAI надеется помочь пользователям систем на базе ИИ работать более эффективно, улучшая их понимание того, как рассуждают эти системы. [7] XAI может быть реализацией социального права на объяснение . [8] Даже если нет такого юридического права или нормативного требования, XAI может улучшить пользовательский опыт продукта или услуги, помогая конечным пользователям верить, что ИИ принимает правильные решения. [9] XAI стремится объяснить, что было сделано, что делается и что будет сделано дальше, а также раскрыть, на какой информации основаны эти действия. [10] Это позволяет подтверждать существующие знания, оспаривать существующие знания и генерировать новые предположения. [11]

Алгоритмы машинного обучения (ML), используемые в ИИ, можно разделить на «белый ящик» и «черный ящик» . [12] Модели «белого ящика» предоставляют результаты, понятные экспертам в данной области. Модели «черного ящика», с другой стороны, чрезвычайно сложно объяснить, и их могут не понять даже эксперты в данной области. [13] Алгоритмы XAI следуют трем принципам прозрачности, интерпретируемости и объяснимости. Модель прозрачна, «если процессы, которые извлекают параметры модели из обучающих данных и генерируют метки из тестовых данных, могут быть описаны и мотивированы разработчиком подхода». [14] Интерпретируемость описывает возможность понимания модели ML и представления базовой основы для принятия решений таким образом, который понятен людям. [15] [16] [17] Объяснимость — это концепция, которая признана важной, но консенсусное определение пока недоступно; [14] одним из возможных вариантов является «совокупность признаков интерпретируемой области, которые способствовали, для данного примера, принятию решения (например, классификации или регрессии)». [18] Если алгоритмы соответствуют этим принципам, они обеспечивают основу для обоснования решений, отслеживания их и, таким образом, их проверки, улучшения алгоритмов и изучения новых фактов. [19]

Иногда также возможно достичь высокоточного результата с помощью алгоритмов машинного обучения с использованием белого ящика. Эти алгоритмы имеют интерпретируемую структуру, которую можно использовать для объяснения прогнозов. [20] Концептуальные модели узкого места, которые используют абстракции на уровне концепций для объяснения рассуждений модели, являются примерами этого и могут применяться как в задачах прогнозирования изображений [21] , так и в задачах прогнозирования текста [22] . Это особенно важно в таких областях, как медицина, оборона, финансы и юриспруденция, где крайне важно понимать решения и создавать доверие к алгоритмам. [10] Многие исследователи утверждают, что, по крайней мере, для контролируемого машинного обучения, путь вперед — это символическая регрессия, где алгоритм просматривает пространство математических выражений, чтобы найти модель, которая лучше всего подходит для заданного набора данных. [23] [24] [25]

Системы ИИ оптимизируют поведение для удовлетворения математически заданной целевой системы, выбранной разработчиками системы, например, команда «максимизировать точность оценки того, насколько положительны обзоры фильмов в тестовом наборе данных». ИИ может выучить полезные общие правила из тестового набора, например, «обзоры, содержащие слово «ужасно», скорее всего, будут отрицательными». Однако он может также выучить неподходящие правила, например, «обзоры, содержащие « Дэниел Дэй-Льюис », обычно положительные»; такие правила могут быть нежелательными, если они, скорее всего, не будут обобщаться за пределами обучающего набора или если люди считают правило «обманным» или «несправедливым». Человек может проверять правила в XAI, чтобы получить представление о том, насколько вероятно, что система будет обобщаться на будущие реальные данные за пределами тестового набора. [26]

Цели

Сотрудничество между агентами — в данном случае, алгоритмами и людьми — зависит от доверия. Если люди должны принимать алгоритмические предписания, они должны доверять им. Неполнота формальных критериев доверия является препятствием для оптимизации. Прозрачность, интерпретируемость и объяснимость являются промежуточными целями на пути к этим более всеобъемлющим критериям доверия. [27] Это особенно актуально в медицине, [28] особенно с клиническими системами поддержки принятия решений (CDSS), в которых медицинские специалисты должны иметь возможность понимать, как и почему было принято решение на основе машины, чтобы доверять решению и дополнять свой процесс принятия решений. [29]

Системы ИИ иногда изучают нежелательные трюки, которые оптимально выполняют работу по удовлетворению явных заранее запрограммированных целей на обучающих данных, но не отражают более тонкие неявные желания разработчиков человеческих систем или полную сложность данных домена. Например, система 2017 года, которой было поручено распознавание изображений , научилась «обманывать», ища тег авторских прав, который случайно был связан с изображениями лошадей, вместо того, чтобы научиться определять, была ли лошадь на самом деле изображена. [6] В другой системе 2017 года контролируемый обучающийся ИИ, которому было поручено захватывать предметы в виртуальном мире, научился обманывать, помещая свой манипулятор между объектом и зрителем таким образом, что создавалось ложное впечатление, что он захватывает объект. [30] [31]

Один из проектов прозрачности, программа DARPA XAI, направлена ​​на создание моделей « стеклянного ящика », которые можно объяснить « человеку в контуре », не сильно жертвуя производительностью ИИ. Пользователи-люди такой системы могут понимать когнитивные способности ИИ (как в реальном времени, так и постфактум) и могут определять, доверять ли ИИ. [32] Другие приложения XAI — это извлечение знаний из моделей «черного ящика» и сравнение моделей. [33] В контексте систем мониторинга этического и социально-правового соответствия термин «стеклянный ящик» обычно используется для обозначения инструментов, которые отслеживают входы и выходы рассматриваемой системы и предоставляют основанные на ценностях объяснения их поведения. Эти инструменты направлены на обеспечение того, чтобы система работала в соответствии с этическими и правовыми стандартами, а ее процессы принятия решений были прозрачными и подотчетными. Термин «стеклянный ящик» часто используется в противопоставлении системам «черного ящика», которые непрозрачны и могут быть более сложными для мониторинга и регулирования. [34] Этот термин также используется для обозначения голосового помощника, который выдает контрфактуальные утверждения в качестве объяснений. [35]

Методы объяснимости и интерпретируемости

В контексте ИИ существует тонкое различие между терминами «объяснимость» и «интерпретируемость». [36]

Некоторые методы объяснимости не предполагают понимания того, как работает модель, и могут работать в различных системах ИИ. Рассмотрение модели как черного ящика и анализ того, как незначительные изменения входных данных влияют на результат, иногда дает достаточное объяснение.

Объяснимость

Объясняемость полезна для обеспечения того, чтобы модели ИИ не принимали решений на основе нерелевантных или иным образом несправедливых критериев. Для моделей классификации и регрессии существует несколько популярных методов:

Для изображений карты заметности выделяют те части изображения, которые больше всего повлияли на результат. [41]

Однако эти методы не очень подходят для языковых моделей, таких как генеративные предобученные трансформаторы . Поскольку эти модели генерируют язык, они могут предоставить объяснение, но которое может быть ненадежным. Другие методы включают анализ внимания (изучение того, как модель фокусируется на различных частях ввода), методы зондирования (тестирование того, какая информация захвачена в представлениях модели), каузальное отслеживание (отслеживание потока информации через модель) и обнаружение цепей (идентификация конкретных подсетей, ответственных за определенное поведение). Исследования объяснимости в этой области значительно пересекаются с исследованиями интерпретируемости и выравнивания . [42]

Интерпретируемость

Ученые иногда используют термин «механистическая интерпретируемость» для обозначения процесса обратного проектирования искусственных нейронных сетей с целью понимания их внутренних механизмов и компонентов принятия решений, подобно тому, как можно анализировать сложную машину или компьютерную программу. [43]

Исследования интерпретируемости часто фокусируются на генеративных предварительно обученных трансформаторах. Это особенно актуально для безопасности и выравнивания ИИ , поскольку это может позволить идентифицировать признаки нежелательного поведения, такие как подхалимство , обманчивость или предвзятость, и лучше управлять моделями ИИ. [44]

Изучение интерпретируемости самых передовых базовых моделей часто включает в себя поиск автоматизированного способа идентификации «признаков» в генеративных предобученных трансформаторах. В нейронной сети признак представляет собой шаблон активаций нейронов, который соответствует концепции. Методика с интенсивными вычислениями, называемая « словарным обучением », позволяет в некоторой степени идентифицировать признаки. Ожидается, что улучшение способности идентифицировать и редактировать признаки значительно повысит безопасность пограничных моделей ИИ . [45] [46]

Для сверточных нейронных сетей DeepDream может генерировать изображения, которые сильно активируют определенный нейрон, предоставляя визуальную подсказку о том, что нейрон обучен идентифицировать. [47]

История и методы

В 1970–1990-х годах символические системы рассуждений , такие как MYCIN , [48] GUIDON, [49] SOPHIE, [50] и PROTOS [51] [52], могли представлять, рассуждать и объяснять свои рассуждения для диагностических, учебных или машинных целей обучения (обучение на основе объяснений). MYCIN, разработанная в начале 1970-х годов как исследовательский прототип для диагностики инфекций кровотока бактериемией , могла объяснить [53], какие из ее вручную закодированных правил способствовали диагностике в конкретном случае. Исследования в области интеллектуальных обучающих систем привели к разработке таких систем, как SOPHIE, которые могли выступать в качестве «членораздельного эксперта», объясняя стратегию решения проблем на уровне, понятном ученику, чтобы он знал, какие действия предпринять дальше. Например, SOPHIE могла объяснять качественные рассуждения, лежащие в основе устранения неполадок в электронике, хотя в конечном итоге она полагалась на симулятор схемы SPICE . Аналогично, GUIDON добавил обучающие правила, чтобы дополнить правила MYCIN на уровне домена, чтобы он мог объяснить стратегию медицинской диагностики. Символические подходы к машинному обучению, основанные на обучении на основе объяснений, такие как PROTOS, использовали явные представления объяснений, выраженные на специальном языке объяснений, как для объяснения своих действий, так и для получения новых знаний. [52]

В 1980-х и начале 1990-х годов системы поддержания истины (TMS) расширили возможности систем причинно-следственной связи, основанных на правилах и логических выводов. [54] : 360–362  TMS явно отслеживает альтернативные линии рассуждений, обоснования выводов и линии рассуждений, которые приводят к противоречиям, позволяя будущим рассуждениям избегать этих тупиков. Чтобы предоставить объяснение, они прослеживают рассуждения от выводов до предположений через операции правил или логические выводы, позволяя генерировать объяснения из следов рассуждений. В качестве примера рассмотрим решатель проблем на основе правил с несколькими правилами о Сократе, который приходит к выводу, что он умер от яда:

Просто прослеживая структуру зависимости, решатель проблемы может построить следующее объяснение: «Сократ умер, потому что он был смертным и выпил яд, и все смертные умирают, когда выпивают яд. Сократ был смертен, потому что он был человеком, а все люди смертны. Сократ выпил яд, потому что придерживался диссидентских убеждений, правительство было консервативным, и те, кто придерживается консервативных диссидентских убеждений при консервативных правительствах, должны выпить яд». [55] : 164–165 

К 1990-м годам исследователи начали изучать, возможно ли осмысленно извлекать некодированные вручную правила, генерируемые непрозрачными обученными нейронными сетями. [56] Исследователи в клинических экспертных системах, создающих [ требуется разъяснение ] поддержку принятия решений на основе нейронных сетей для врачей, стремились разработать динамические объяснения, которые позволили бы этим технологиям быть более надежными и заслуживающими доверия на практике. [8] В 2010-х годах обеспокоенность общественности расовой и другой предвзятостью при использовании ИИ для принятия решений о вынесении уголовных приговоров и выводов о кредитоспособности могла привести к увеличению спроса на прозрачный искусственный интеллект. [6] В результате многие ученые и организации разрабатывают инструменты, помогающие обнаруживать предвзятость в своих системах. [57]

Марвин Мински и др. подняли вопрос о том, что ИИ может функционировать как форма наблюдения, с присущими наблюдению предубеждениями, предложив ИИ (гуманистический интеллект) как способ создания более справедливого и сбалансированного ИИ с «человеком в петле». [58]

Современные сложные методы ИИ, такие как глубокое обучение , по своей природе непрозрачны. [59] Для решения этой проблемы были разработаны методы, позволяющие сделать новые модели более объяснимыми и интерпретируемыми. [60] [16] [15] [61] [62] [63] Сюда входит послойное распространение релевантности (LRP), метод определения того, какие признаки в определенном входном векторе вносят наибольший вклад в выходные данные нейронной сети. [64] [65] Другие методы объясняют некоторые конкретные предсказания, сделанные (нелинейной) моделью черного ящика, цель, называемая «локальной интерпретируемостью». [66] [67] [68] [69] [70] [71] Простое перенесение концепций локальной интерпретируемости в удаленный контекст (где модель черного ящика выполняется третьей стороной) в настоящее время находится под пристальным вниманием [ неопределенно ] . [ требуется разъяснение ] [72] [73]

Была проведена работа по созданию моделей «стеклянного ящика», которые были бы более прозрачны для проверки. [20] [74] Сюда входят деревья решений , [75] байесовские сети , разреженные линейные модели , [76] и многое другое. [77] Ассоциация по вычислительной технике, конференция по справедливости, подотчетности и прозрачности (ACM FAccT) была создана в 2018 году для изучения прозрачности и объяснимости в контексте социально-технических систем, многие из которых включают искусственный интеллект. [78] [79]

Некоторые методы позволяют визуализировать входные данные, на которые отдельные программные нейроны реагируют сильнее всего. Несколько групп обнаружили, что нейроны могут быть объединены в схемы, которые выполняют понятные человеку функции, некоторые из которых надежно возникают в различных сетях, обученных независимо. [80] [81]

Существуют различные методы извлечения сжатых представлений особенностей заданных входов, которые затем могут быть проанализированы стандартными методами кластеризации . В качестве альтернативы сети могут быть обучены выводить лингвистические объяснения своего поведения, которые затем могут быть непосредственно интерпретированы человеком. [82] Поведение модели также может быть объяснено со ссылкой на данные обучения — например, путем оценки того, какие входы обучения повлияли на заданное поведение больше всего. [83]

Использование объяснимого искусственного интеллекта (XAI) в исследовании боли, в частности, в понимании роли электродермальной активности для автоматизированного распознавания боли : созданные вручную признаки и модели глубокого обучения в распознавании боли, подчеркивающие понимание того, что простые созданные вручную признаки могут обеспечить сопоставимые характеристики с моделями глубокого обучения, и что как традиционные методы проектирования признаков, так и методы глубокого обучения признаков полагаются на простые характеристики входных данных временного ряда. [84]

Регулирование

Поскольку регулирующие органы, официальные органы и обычные пользователи начинают зависеть от динамических систем на основе ИИ, для автоматизированных процессов принятия решений потребуется более четкая подотчетность, чтобы гарантировать доверие и прозрачность. Первой глобальной конференцией, посвященной исключительно этой новой дисциплине, стала Международная совместная конференция по искусственному интеллекту 2017 года : семинар по объяснимому искусственному интеллекту (XAI). [85]

Европейский союз ввел право на объяснение в Общее право на защиту данных (GDPR) для решения потенциальных проблем, вытекающих из растущей важности алгоритмов. Реализация регулирования началась в 2018 году. Однако право на объяснение в GDPR охватывает только локальный аспект интерпретируемости. В Соединенных Штатах страховые компании обязаны иметь возможность объяснять свои решения по тарифам и покрытию. [86] Во Франции Закон о цифровой республике (Loi pour une République numérique) предоставляет субъектам право запрашивать и получать информацию, касающуюся реализации алгоритмов, которые обрабатывают данные о них.

Ограничения

Несмотря на постоянные усилия по повышению объяснимости моделей ИИ, им по-прежнему присущ ряд ограничений.

Противоборствующие стороны

Делая систему ИИ более объяснимой, мы также раскрываем больше ее внутренних механизмов. Например, метод объяснимости важности признаков определяет признаки или переменные, которые наиболее важны для определения выходных данных модели, в то время как метод влиятельных образцов определяет обучающие образцы, которые наиболее влиятельны для определения выходных данных, учитывая конкретные входные данные. [87] Стороны-соперники могли бы воспользоваться этими знаниями.

Например, фирмы-конкуренты могли бы воспроизводить аспекты оригинальной системы ИИ в своем собственном продукте, тем самым снижая конкурентное преимущество. [88] Объяснимая система ИИ также подвержена «игре» — влиянию таким образом, что это подрывает ее предполагаемое назначение. В одном исследовании приводится пример предиктивной системы полицейской деятельности; в этом случае те, кто потенциально может «играть» с системой, являются преступниками, подпадающими под решения системы. В этом исследовании разработчики системы обсуждали проблему преступных банд, желающих незаконно получить паспорта, и они выразили обеспокоенность тем, что, если дать им представление о том, какие факторы могут вызвать предупреждение в процессе подачи заявления на паспорт, эти банды смогут «отправить подопытных кроликов» для проверки этих триггеров, в конечном итоге найдя лазейку, которая позволит им «надежно получать паспорта из-под носа у властей». [89]

Техническая сложность

Основным препятствием для объяснения систем ИИ является техническая сложность таких систем. Конечным пользователям часто не хватает знаний в области кодирования, необходимых для понимания программного обеспечения любого типа. Текущие методы, используемые для объяснения ИИ, в основном технические и ориентированы на инженеров машинного обучения для целей отладки, а не на конечных пользователей, на которых в конечном итоге влияет система, что приводит к «разрыву между объяснимостью на практике и целью прозрачности». [87] Предлагаемые решения для решения проблемы технической сложности включают либо содействие обучению кодированию широкой общественности, чтобы технические объяснения были более доступными для конечных пользователей, либо предоставление объяснений в терминах неспециалистов. [88]

Решение должно избегать чрезмерного упрощения. Важно найти баланс между точностью — насколько точно объяснение отражает процесс системы ИИ — и объяснимостью — насколько хорошо конечные пользователи понимают процесс. Этого баланса трудно достичь, поскольку сложность машинного обучения затрудняет даже для инженеров МО полное понимание, не говоря уже о неспециалистах. [87]

Понимание против доверия

Целью объяснимости для конечных пользователей систем ИИ является повышение доверия к системам, даже «решение проблем, связанных с отсутствием «справедливости» и дискриминационными эффектами». [88] Однако даже при хорошем понимании системы ИИ конечные пользователи не обязательно доверяют ей. [90] В одном исследовании участникам были представлены комбинации объяснений в стиле «белого ящика» и «черного ящика», а также статические и интерактивные объяснения систем ИИ. Хотя эти объяснения способствовали повышению как их самооценки, так и объективного понимания, они не оказали никакого влияния на их уровень доверия, который оставался скептическим. [91]

Этот результат был особенно верен для решений, которые существенно влияли на конечного пользователя, например, при поступлении в аспирантуру. Участники посчитали алгоритмы слишком негибкими и беспощадными по сравнению с людьми, принимающими решения; вместо того, чтобы жестко придерживаться набора правил, люди способны рассматривать исключительные случаи, а также апелляции к своему первоначальному решению. [91] Для таких решений объяснимость не обязательно заставит конечных пользователей принять использование алгоритмов принятия решений. Нам нужно будет либо обратиться к другому методу, чтобы повысить доверие и принятие алгоритмов принятия решений, либо поставить под сомнение необходимость полагаться исключительно на ИИ для принятия таких важных решений в первую очередь.

Однако некоторые подчеркивают, что цель объяснимости искусственного интеллекта заключается не только в повышении доверия пользователей к решениям системы, но и в калибровке уровня доверия пользователей до правильного уровня. [92] Согласно этому принципу, слишком большое или слишком малое доверие пользователей к системе ИИ нанесет ущерб общей производительности блока человек-система. Когда доверие чрезмерно, пользователи не критично относятся к возможным ошибкам системы, а когда пользователи не имеют достаточного доверия к системе, они не исчерпают присущие ей преимущества.

Критика

Некоторые ученые предположили, что объяснимость в ИИ следует считать целью, вторичной по отношению к эффективности ИИ, и что поощрение исключительной разработки XAI может ограничить функциональность ИИ в более широком смысле. [93] [94] Критики XAI опираются на развитые концепции механистического и эмпирического мышления из доказательной медицины, чтобы предположить, что технологии ИИ могут быть клинически подтверждены, даже если их функции не могут быть поняты их операторами. [93]

Некоторые исследователи выступают за использование изначально интерпретируемых моделей машинного обучения, а не за использование post-hoc объяснений, в которых вторая модель создается для объяснения первой. Это отчасти потому, что post-hoc модели увеличивают сложность в пути принятия решения, а отчасти потому, что часто неясно, насколько точно post-hoc объяснение может имитировать вычисления совершенно отдельной модели. [20] Однако другая точка зрения заключается в том, что важно то, чтобы объяснение выполняло поставленную задачу, и не имеет значения, является ли оно pre- или post-hoc. Если метод post-hoc объяснения помогает врачу лучше диагностировать рак, то имеет второстепенное значение, является ли это правильным/неправильным объяснением.

Цели XAI сводятся к форме сжатия с потерями , которая будет становиться менее эффективной по мере роста числа параметров моделей ИИ. Наряду с другими факторами это приводит к теоретическому пределу объяснимости. [95]

Объяснимость в социальном выборе

Объясняемость изучалась также в теории социального выбора . Теория социального выбора направлена ​​на поиск решений проблем социальных решений, которые основаны на устоявшихся аксиомах. Ариэль Д. Прокаччиа [96] объясняет, что эти аксиомы могут быть использованы для построения убедительных объяснений решений. Этот принцип использовался для построения объяснений в различных подобластях социального выбора.

Голосование

Кайю и Эндрисс [97] представляют метод объяснения правил голосования с использованием аксиом , которые их характеризуют. Они иллюстрируют свой метод на примере правила голосования Борда .

Петерс, Прокачча, Псомас и Чжоу [98] представляют алгоритм для объяснения результатов правила Борда с использованием O( m 2 ) объяснений и доказывают, что это является точным в худшем случае.

Партисипаторное бюджетирование

Янг, Хаусладен, Петерс, Пурнарас, Фрикер и Хелбинг [99] представляют эмпирическое исследование объяснимости в партисипаторном бюджетировании . Они сравнили жадные и равные правила долей и три типа объяснений: объяснение механизма (общее объяснение того, как работает правило агрегации с учетом входных данных для голосования), индивидуальное объяснение (объяснение того, сколько избирателей имели по крайней мере один одобренный проект, по крайней мере 10000 швейцарских франков в одобренных проектах) и групповое объяснение (объяснение того, как бюджет распределяется между округами и темами). Они сравнили воспринимаемую надежность и справедливость жадных и равных долей до и после объяснений. Они обнаружили, что для MES объяснение механизма дает самый высокий рост воспринимаемой справедливости и надежности; вторым по величине было групповое объяснение. Для жадного объяснение механизма увеличивает воспринимаемую надежность, но не справедливость, тогда как индивидуальное объяснение увеличивает как воспринимаемую справедливость, так и надежность. Групповое объяснение снижает воспринимаемую справедливость и надежность.

Распределение выплат

Низри, Азария и Хазон [100] представляют алгоритм для вычисления объяснений для значения Шепли . При наличии коалиционной игры их алгоритм разлагает ее на подигры, для которых легко сгенерировать словесные объяснения на основе аксиом, характеризующих значение Шепли. Распределение выплат для каждой подигры воспринимается как справедливое, поэтому распределение выплат на основе Шепли для данной игры также должно казаться справедливым. Эксперимент с 210 людьми показывает, что с их автоматически сгенерированными объяснениями испытуемые воспринимают распределение выплат на основе Шепли как значительно более справедливое, чем с общим стандартным объяснением.

Смотрите также

Ссылки

  1. ^ Лонго, Лука и др. (2024). «Объяснимый искусственный интеллект (XAI) 2.0: манифест открытых проблем и направлений междисциплинарных исследований». Information Fusion . 106 . doi :10.1016/j.inffus.2024.102301.
  2. ^ Михай, Хедер (2023). «Объяснимый ИИ: краткая история концепции» (PDF) . Новости ERCIM (134): 9–10.
  3. ^ Филлипс, П. Джонатан; Хан, Карина А.; Фонтана, Питер К.; Йейтс, Эми Н.; Грин, Кристен; Бронятовски, Дэвид А.; Пржибоцкий, Марк А. (2021-09-29). «Четыре принципа объяснимого искусственного интеллекта». doi :10.6028/nist.ir.8312. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  4. ^ Вилоне, Джулия; Лонго, Лука (2021). «Понятия объяснимости и подходы к оценке объяснимого искусственного интеллекта». Information Fusion . Декабрь 2021 г. — Том 76: 89–106. doi :10.1016/j.inffus.2021.05.009.
  5. ^ Кастельвекки, Давиде (2016-10-06). «Можем ли мы открыть черный ящик ИИ?». Nature . 538 (7623): 20–23. Bibcode : 2016Natur.538...20C. doi : 10.1038/538020a. ISSN  0028-0836. PMID  27708329. S2CID  4465871.
  6. ^ abc Sample, Ян (5 ноября 2017 г.). «Компьютер говорит нет: почему важно сделать ИИ справедливым, подотчетным и прозрачным». The Guardian . Получено 30 января 2018 г.
  7. ^ Ализаде, Фатемех (2021). «Я не знаю, используется ли ИИ также в подушках безопасности?: эмпирическое исследование народных представлений и ожиданий людей от текущего и будущего искусственного интеллекта». Icom . 20 (1): 3–17. doi :10.1515/icom-2021-0009. S2CID  233328352.
  8. ^ ab Эдвардс, Лилиан; Вил, Майкл (2017). «Раб алгоритма? Почему «право на объяснение» — это, вероятно, не то средство, которое вы ищете». Duke Law and Technology Review . 16 : 18. SSRN  2972855.
  9. ^ До Коуто, Марк (22 февраля 2024 г.). «Вступление в эпоху объяснимого ИИ». TDWI . Получено 11 сентября 2024 г.
  10. ^ ab Ганнинг, Д.; Стефик, М.; Чой, Дж.; Миллер, Т.; Штумпф, С.; Янг, Г.-З. (2019-12-18). "XAI-объяснимый искусственный интеллект". Science Robotics . 4 (37): eaay7120. doi : 10.1126/scirobotics.aay7120 . ISSN  2470-9476. PMID  33137719.
  11. ^ Риг, Тило; Фрик, Янек; Баумгартль, Герман; Бюттнер, Рикардо (17.12.2020). «Демонстрация потенциала подходов машинного обучения с использованием белого ящика для получения информации из электрокардиограмм сердечно-сосудистых заболеваний». PLOS ONE . 15 (12): e0243615. Bibcode : 2020PLoSO..1543615R. doi : 10.1371/journal.pone.0243615 . ISSN  1932-6203. PMC 7746264. PMID 33332440  . 
  12. ^ Вилоне, Джулия; Лонго, Лука (2021). «Классификация объяснимых методов искусственного интеллекта через их выходные форматы». Машинное обучение и извлечение знаний . 3 (3): 615–661. doi : 10.3390/make3030032 .
  13. ^ Лойола-Гонсалес, О. (2019). «Черный ящик против белого ящика: понимание их преимуществ и недостатков с практической точки зрения». IEEE Access . 7 : 154096–154113. Bibcode : 2019IEEEA...7o4096L. doi : 10.1109/ACCESS.2019.2949286 . ISSN  2169-3536.
  14. ^ ab Roscher, R.; Bohn, B.; Duarte, MF; Garcke, J. (2020). «Объяснимое машинное обучение для научных идей и открытий». IEEE Access . 8 : 42200–42216. arXiv : 1905.08883 . Bibcode : 2020IEEEA...842200R. doi : 10.1109/ACCESS.2020.2976199 . ISSN  2169-3536.
  15. ^ ab Murdoch, W. James; Singh, Chandan; Kumbier, Karl; Abbasi-Asl, Reza; Yu, Bin (2019-01-14). «Интерпретируемое машинное обучение: определения, методы и приложения». Труды Национальной академии наук Соединенных Штатов Америки . 116 (44): 22071–22080. arXiv : 1901.04592 . doi : 10.1073/pnas.1900654116 . PMC 6825274. PMID  31619572 . 
  16. ^ ab Lipton, Zachary C. (июнь 2018 г.). «Мифы об интерпретируемости моделей: в машинном обучении концепция интерпретируемости одновременно важна и скользка». Очередь . 16 (3): 31–57. doi : 10.1145/3236386.3241340 . ISSN  1542-7730.
  17. ^ «Объяснимый искусственный интеллект (XAI): концепции, таксономии, возможности и проблемы на пути к ответственному ИИ». DeepAI . 2019-10-22 . Получено 2021-01-13 .
  18. ^ Монтавон, Грегуар; Самек, Войцех; Мюллер, Клаус-Роберт (2018-02-01). «Методы интерпретации и понимания глубоких нейронных сетей». Цифровая обработка сигналов . 73 : 1–15. arXiv : 1706.07979 . Bibcode : 2018DSP....73....1M. doi : 10.1016/j.dsp.2017.10.011 . ISSN  1051-2004.
  19. ^ Адади, А.; Беррада, М. (2018). «Заглянуть внутрь черного ящика: обзор объяснимого искусственного интеллекта (XAI)». IEEE Access . 6 : 52138–52160. Bibcode : 2018IEEEA...652138A. doi : 10.1109/ACCESS.2018.2870052 . ISSN  2169-3536.
  20. ^ abc Rudin, Cynthia (2019). «Перестаньте объяснять модели машинного обучения черного ящика для решений с высокими ставками и вместо этого используйте интерпретируемые модели». Nature Machine Intelligence . 1 (5): 206–215. arXiv : 1811.10154 . doi : 10.1038/s42256-019-0048-x . ISSN  2522-5839. PMC 9122117 . PMID  35603010. 
  21. ^ Кох, П. В.; Нгуен, Т.; Тан, Й. С.; Муссманн, С.; Пирсон, Э.; Ким, Б.; Лян, П. (ноябрь 2020 г.). «Концептуальные модели узких мест». Международная конференция по машинному обучению . PMLR. С. 5338–5348.
  22. ^ Лудан, Дж. М.; Лю, К.; Янг, И.; Дуган, Л.; Яцкар, М.; Каллисон-Берч, К. (2023). «Интерпретируемая по замыслу классификация текстов с итеративно генерируемым узким местом концепта». arXiv : 2310.19660 [cs.CL].
  23. ^ Веннингер, Саймон; Каймакчи, Кан; Вите, Кристиан (2022). «Объясняемое долгосрочное прогнозирование потребления энергии в зданиях с использованием QLattice». Applied Energy . 308 . Elsevier BV: 118300. Bibcode :2022ApEn..30818300W. doi :10.1016/j.apenergy.2021.118300. ISSN  0306-2619. S2CID  245428233.
  24. ^ Кристиансен, Майкл; Вильструп, Каспер; Хедли, Паула Л. (2022). «Объяснимое машинное обучение «белого ящика» — это путь вперед в скрининге преэклампсии». Американский журнал акушерства и гинекологии . 227 (5). Elsevier BV: 791. doi : 10.1016/j.ajog.2022.06.057. ISSN  0002-9378. PMID  35779588. S2CID  250160871.
  25. ^ Вилступ, Каспер; Кейв, Крис (2021-01-15), Сочетание символической регрессии с моделью пропорциональных рисков Кокса улучшает прогнозирование смертей от сердечной недостаточности , Лаборатория Колд-Спринг-Харбор, doi : 10.1101/2021.01.15.21249874, S2CID  231609904
  26. ^ «Как детективы ИИ взламывают черный ящик глубокого обучения». Наука . 5 июля 2017 г. Получено 30 января 2018 г..
  27. ^ Досилович, Филип; Брчич, Марио; Хлупич, Никица (25 мая 2018 г.). «Объяснимый искусственный интеллект: исследование» (PDF) . МИПРО 2018 - Материалы 41-й Международной конвенции . MIPRO 2018. Опатия, Хорватия. стр. 210–215. дои : 10.23919/МИПРО.2018.8400040. ISBN 978-953-233-095-3. Архивировано из оригинала (PDF) 2018-12-10 . Получено 2018-12-09 .
  28. ^ Бернал, Хосе; Мазо, Клаудия (11 октября 2022 г.). «Прозрачность искусственного интеллекта в здравоохранении: взгляд профессионалов в области вычислений и здравоохранения во всем мире». Прикладные науки . 12 (20): 10228. doi : 10.3390/app122010228 . ISSN  2076-3417.
  29. ^ Антониади, Анна Маркелла; Ду, Юхан; Гендус, Ясмин; Вэй, Лан; Мазо, Клаудия; Беккер, Бретт А.; Муни, Кэтрин (январь 2021 г.). «Текущие проблемы и будущие возможности для XAI в системах поддержки принятия клинических решений на основе машинного обучения: систематический обзор». Прикладные науки . 11 (11): 5088. doi : 10.3390/app11115088 . ISSN  2076-3417.
  30. ^ «DeepMind имеет простые тесты, которые могут предотвратить апокалипсис искусственного интеллекта Илона Маска». Bloomberg.com . 11 декабря 2017 г. Получено 30 января 2018 г.
  31. ^ "Изучение человеческих предпочтений". Блог OpenAI . 13 июня 2017 г. Получено 30 января 2018 г.
  32. ^ "Объяснимый искусственный интеллект (XAI)". DARPA . Получено 17 июля 2017 .
  33. ^ Биечек, Пшемыслав (23 июня 2018 г.). «DALEX: Explainers for Complex Predictive Models». Журнал исследований машинного обучения . 19 : 1–5. arXiv : 1806.08915 .
  34. ^ Рай, Арун. «Объяснимый ИИ: от черного ящика к стеклянному ящику». Журнал Академии маркетинговых наук 48 (2020): 137-141.
  35. ^ Сокол, Каспер; Флах, Питер (2018). «Стеклянная коробка: объяснение решений ИИ с помощью контрфактуальных утверждений посредством разговора с голосовым виртуальным помощником». Труды Двадцать седьмой Международной совместной конференции по искусственному интеллекту . С. 5868–5870. doi :10.24963/ijcai.2018/865. ISBN 9780999241127. S2CID  51608978.
  36. ^ Бронятовски, Дэвид А. (2021). «Психологические основы объяснимости и интерпретируемости в искусственном интеллекте». NIST Pubs .
  37. ^ ab ISO/IEC TR 29119-11:2020, Программное обеспечение и системная инженерия, Тестирование программного обеспечения, Часть 11: Руководящие указания по тестированию систем на основе искусственного интеллекта. ISO . 2020 . Получено 25 ноября 2023 .
  38. ^ Верма, Югеш (25.12.2021). «Полное руководство по SHAP — объяснения добавок SHAPley для практиков». Журнал Analytics India . Получено 10.07.2024 .
  39. ^ Ротман, Денис (2020-10-07). «Изучение объяснений LIME и стоящей за ними математики». Журнал Codemotion . Получено 2024-07-10 .
  40. ^ Кристиан, Брайан (2020). «РАССКАЖИ МНЕ ВСЕ: МНОГОЗАДАЧНЫЕ СЕТИ». Проблема выравнивания : машинное обучение и человеческие ценности . WW Norton & Company. ISBN 978-0-393-86833-3.
  41. ^ Шарма, Абишек (2018-07-11). «Что такое карты значимости в глубоком обучении?». Журнал Analytics India . Получено 2024-07-10 .
  42. ^ Луо, Хаоянь; Спесия, Люсия (2024-02-21). «От понимания к использованию: обзор объяснимости больших языковых моделей». arXiv : 2401.12874 [cs.CL].
  43. ^ Олах, Крис (27 июня 2022 г.). «Механистическая интерпретируемость, переменные и важность интерпретируемых баз». www.transformer-circuits.pub . Получено 10 июля 2024 г.
  44. ^ Миттал, Ааюш (2024-06-17). «Понимание разреженных автокодировщиков, GPT-4 и Клода 3: глубокое техническое исследование». Unite.AI . Получено 2024-07-10 .
  45. ^ Ропек, Лукас (21.05.2024). «Новые антропные исследования проливают свет на «черный ящик» ИИ». Gizmodo . Получено 23.05.2024 .
  46. ^ Перриго, Билли (21.05.2024). «Искусственный интеллект — это «черный ящик». Возможно, не надолго». Time . Получено 24.05.2024 .
  47. ^ Барбер, Грегори. «Внутри «черного ящика» нейронной сети». Wired . ISSN  1059-1028 . Получено 10 июля 2024 г.
  48. ^ Фаган, Л. М.; Шортлифф, Э. Х.; Бьюкенен, Б. Г. (1980). «Принятие медицинских решений на основе компьютеров: от MYCIN до VM». Automedica . 3 (2): 97–108.
  49. ^ Кланси, Уильям (1987). Обучение на основе знаний: программа GUIDON . Кембридж, Массачусетс: Издательство MIT.
  50. ^ Браун, Джон С.; Бертон, Р. Р.; Де Клер, Йохан (1982). «Педагогические, естественно-языковые и методы инженерии знаний в SOPHIE I, II и III». Интеллектуальные обучающие системы . Academic Press. ISBN 0-12-648680-8.
  51. ^ Барейсс, Рэй; Портер, Брюс; Вейр, Крейг; Холте, Роберт (1990). «Protos: An Exemplar-Based Learning Apprentice». Машинное обучение . Том 3. Morgan Kaufmann Publishers Inc., стр. 112–139. ISBN 1-55860-119-8.
  52. ^ ab Bareiss, Ray (1989). Получение знаний на основе образцов: унифицированный подход к представлению концепций, классификации и обучению . Перспективы искусственного интеллекта. Academic Press .
  53. ^ Ван Лент, М.; Фишер, В.; Манкузо, М. (июль 2004 г.). «Объяснимая система искусственного интеллекта для тактического поведения малых подразделений». Труды Национальной конференции по искусственному интеллекту . Сан-Хосе, Калифорния: AAAI Press. С. 900–907. ISBN 0262511835.
  54. ^ Рассел, Стюарт; Норвиг, Питер (2003). Искусственный интеллект: современный подход . Серия Prentice Hall по искусственному интеллекту (второе издание). Верхняя Сэддл-Ривер, Нью-Джерси: Prentice Hall, Pearson Education. ISBN 0-13-790395-2.
  55. ^ Форбус, Кеннет; Де Клеер, Йохан (1993). Создание решателей проблем . Кембридж, Массачусетс: MIT Press. ISBN 0-262-06157-0.
  56. ^ Tickle, AB; Andrews, R.; Golea, M.; Diederich, J. (ноябрь 1998 г.). «Истина выйдет на свет: направления и проблемы извлечения знаний, встроенных в обученные искусственные нейронные сети». IEEE Transactions on Neural Networks . 9 (6): 1057–1068. doi :10.1109/72.728352. ISSN  1045-9227. PMID  18255792. S2CID  11111578.
  57. ^ «Accenture представляет инструмент, помогающий компаниям гарантировать честность своего ИИ». Bloomberg.com . Июнь 2018 г. Получено 5 августа 2018 г.
  58. ^ Мински и др., «Общество интеллектуального наблюдения» IEEE ISTAS2013, страницы 13-17.
  59. ^ Мукерджи, Сиддхартха (27 марта 2017 г.). «AI Versus MD» The New Yorker . Получено 30 января 2018 г.
  60. ^ Чисар, Орсоля; Чисар, Габор; Домби, Йожеф (08.07.2020). «Интерпретируемые нейронные сети на основе непрерывной логики и операторов многокритериального принятия решений». Системы, основанные на знаниях . 199 : 105972. arXiv : 1910.02486 . дои : 10.1016/j.knosys.2020.105972 . ISSN  0950-7051.
  61. ^ Доши-Велес, Финал; Ким, Бин (2017-02-27). «На пути к строгой науке интерпретируемого машинного обучения». arXiv : 1702.08608 [stat.ML].
  62. ^ Абдоллахи, Бехнуш и Ольфа Насрауи. (2016). «Объяснимые ограниченные машины Больцмана для совместной фильтрации». arXiv : 1606.07129 [stat.ML].{{cite arXiv}}: CS1 maint: multiple names: authors list (link)
  63. ^ Домби, Йожеф; Чисар, Орсоля (2021). Объяснимые нейронные сети на основе нечеткой логики и инструментов многокритериального принятия решений. Исследования нечеткости и мягких вычислений. Том. 408. дои : 10.1007/978-3-030-72280-7. ISBN 978-3-030-72279-1. ISSN  1434-9922. S2CID  233486978.
  64. ^ Бах, Себастьян; Биндер, Александр; Монтавон, Грегуар; Клаушен, Фредерик; Мюллер, Клаус-Роберт ; Самек, Войцех (10 июля 2015 г.). Суарес, Оскар Дениз (ред.). «О пиксельных объяснениях решений нелинейных классификаторов с помощью распространения релевантности по слоям». PLOS ONE . 10 (7): e0130140. Bibcode : 2015PLoSO..1030140B. doi : 10.1371/journal.pone.0130140 . ISSN  1932-6203. PMC 4498753. PMID 26161953  . 
  65. ^ Сэмпл, Ян (5 ноября 2017 г.). «Компьютер говорит нет: почему важно сделать ИИ справедливым, подотчетным и прозрачным». The Guardian . Получено 5 августа 2018 г.
  66. ^ Мартенс, Дэвид; Провост, Фостер (2014). «Объяснение классификаций документов на основе данных» (PDF) . MIS Quarterly . 38 : 73–99. doi :10.25300/MISQ/2014/38.1.04. S2CID  14238842.
  67. ^ "«Почему я должен вам доверять?» | Труды 22-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных». doi :10.1145/2939672.2939778. S2CID  13029170. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  68. ^ Lundberg, Scott M; Lee, Su-In (2017), Guyon, I.; Luxburg, UV; Bengio, S.; Wallach, H. (ред.), «Унифицированный подход к интерпретации прогнозов моделей» (PDF) , Advances in Neural Information Processing Systems 30 , Curran Associates, Inc., стр. 4765–4774, arXiv : 1705.07874 , получено 13.03.2020
  69. ^ Картер, Брэндон; Мюллер, Джонас; Джейн, Сиддхартха; Гиффорд, Дэвид (2019-04-11). «Что заставило вас это сделать? Понимание решений черного ящика с достаточными входными подмножествами». 22-я Международная конференция по искусственному интеллекту и статистике : 567–576.
  70. ^ Шрикумар, Аванти; Гринсайд, Пейтон; Кундадже, Аншул (2017-07-17). «Изучение важных признаков посредством распространения различий активации». Международная конференция по машинному обучению : 3145–3153.
  71. ^ "Аксиоматическая атрибуция для глубоких сетей | Труды 34-й Международной конференции по машинному обучению - Том 70". dl.acm.org . Icml'17: 3319–3328. 6 августа 2017 г. Получено 13.03.2020 .
  72. ^ Айводжи, Ульрих; Араи, Хироми; Фортино, Оливье; Гамбс, Себастьен; Хара, Сатоши; Тапп, Ален (2019-05-24). «Fairwashing: the risk of rationalization». Международная конференция по машинному обучению . PMLR: 161–170. arXiv : 1901.09749 .
  73. ^ Le Merrer, Erwan; Trédan, Gilles (сентябрь 2020 г.). «Удалённая объяснимость сталкивается с проблемой вышибалы». Nature Machine Intelligence . 2 (9): 529–539. arXiv : 1910.01432 . doi :10.1038/s42256-020-0216-z. ISSN  2522-5839. S2CID  225207140.
  74. ^ Сингх, Чандан; Нассери, Кейан; Тан, Янь Шуо; Тан, Тиффани; Ю, Бин (4 мая 2021 г.). «imodels: пакет Python для подгонки интерпретируемых моделей». Журнал программного обеспечения с открытым исходным кодом . 6 (61): 3192. Bibcode : 2021JOSS....6.3192S. doi : 10.21105/joss.03192. ISSN  2475-9066. S2CID  235529515.
  75. ^ Видаль, Тибо; Шиффер, Максимилиан (2020). «Возрожденные ансамбли деревьев». Международная конференция по машинному обучению . 119. PMLR: 9743–9753. arXiv : 2003.11132 .
  76. ^ Ustun, Berk; Rudin, Cynthia (1 марта 2016 г.). «Суперразреженные линейные целочисленные модели для оптимизированных медицинских систем оценки». Machine Learning . 102 (3): 349–391. doi :10.1007/s10994-015-5528-6. ISSN  1573-0565. S2CID  207211836.
  77. ^ Бостром, Н. и Юдковски, Э. (2014). Этика искусственного интеллекта. Кембриджский справочник по искусственному интеллекту , 316-334.
  78. ^ «Конференция FAT*».
  79. ^ «Компьютерные программы распознают белых мужчин лучше, чем черных женщин». The Economist . 2018 . Получено 5 августа 2018 .
  80. ^ Олах, Крис; Каммарата, Ник; Шуберт, Людвиг; Го, Габриэль; Петров, Майкл; Картер, Шан (10 марта 2020 г.). «Zoom In: An Introduction to Circuits». Distill . 5 (3): e00024.001. doi : 10.23915/distill.00024.001 . ISSN  2476-0757.
  81. ^ Ли, Иксуань; Йосински, Джейсон; Клун, Джефф; Липсон, Ход; Хопкрофт, Джон (8 декабря 2015 г.). «Конвергентное обучение: изучают ли разные нейронные сети одни и те же представления?». Извлечение признаков: современные вопросы и проблемы . PMLR: 196–212.
  82. ^ Хендрикс, Лиза Энн; Аката, Зейнеп; Рорбах, Маркус; Донахью, Джефф; Шиле, Бернт; Даррелл, Тревор (2016). «Создание визуальных объяснений». Computer Vision – ECCV 2016. Lecture Notes in Computer Science. Vol. 9908. Springer International Publishing. pp. 3–19. arXiv : 1603.08507 . doi :10.1007/978-3-319-46493-0_1. ISBN 978-3-319-46492-3. S2CID  12030503.
  83. ^ Кох, Панг Вэй; Лян, Перси (17 июля 2017 г.). «Понимание предсказаний черного ящика с помощью функций влияния». Международная конференция по машинному обучению . PMLR: 1885–1894. arXiv : 1703.04730 .
  84. ^ Gouverneur, Philip; Li, Frédéric; Shirahama, Kimiaki; Luebke, Luisa; Adamczyk, Wacław M.; Szikszay, Tibor M.; Luedtke, Kerstin; Grzegorzek, Marcin (2023-02-09). "Объяснимый искусственный интеллект (XAI) в исследовании боли: понимание роли электродермальной активности для автоматического распознавания боли". Sensors . 23 (4): 1959. Bibcode : 2023Senso..23.1959G. doi : 10.3390/s23041959 . ISSN  1424-8220. PMC 9960387. PMID 36850556  . 
  85. ^ "IJCAI 2017 Workshop on Explainable Artificial Intelligence (XAI)" (PDF) . Earthlink . IJCAI. Архивировано из оригинала (PDF) 4 апреля 2019 г. . Получено 17 июля 2017 г. .
  86. ^ Кан, Джереми (12 декабря 2018 г.). «Искусственный интеллект должен что-то объяснить». Bloomberg Businessweek . Получено 17 декабря 2018 г.
  87. ^ abc Bhatt, Umang; Xiang, Alice; Sharma, Shubham; Weller, Adrian; Taly, Ankur; Jia, Yunhan; Ghosh, Joydeep; Puri, Richir; MF Moura, José; Eckersley, Peter (2022). «Объясняемое машинное обучение в развертывании». Труды конференции 2020 года по справедливости, подотчетности и прозрачности . стр. 648–657. doi :10.1145/3351095.3375624. ISBN 9781450369367. S2CID  202572724.
  88. ^ abc Burrel, Jenna (2016). «Как машина «думает»: понимание непрозрачности в алгоритмах машинного обучения». Большие данные и общество. 3 (1). doi :10.1177/2053951715622512. S2CID  61330970. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  89. ^ Вил, Майкл; Ван Клик, Макс; Биннс, Рубен (2018). «Необходимость проектирования справедливости и подотчетности для алгоритмической поддержки принятия решений в государственном секторе с высокими ставками». Труды конференции CHI 2018 года по человеческому фактору в вычислительных системах . Том 40. С. 1–14. doi : 10.1145/3173574.3174014. ISBN 9781450356206. S2CID  3639135.
  90. ^ Ху, Тонгси; Чжан, Сюэсун; Борер, Гил; Лю, Яньлань; Чжоу, Юйюй; Мартин, Джей; ЛИ, Ян; Чжао, Кайгуан (2023). «Прогнозирование урожайности с помощью объяснимого ИИ и интерпретируемого машинного обучения: опасности моделей черного ящика для оценки воздействия изменения климата на урожайность». Сельскохозяйственная и лесная метеорология . 336 : 109458. doi : 10.1016/j.agrformet.2023.109458. S2CID  258552400.
  91. ^ ab Cheng, Hao-Fei; Wang, Ruotang; Zhang, Zheng; O'Connell, Fiona; Gray, Terrance; Harper, F. Maxwell; Zhu, Haiyi (2019). Объяснение алгоритмов принятия решений через пользовательский интерфейс: стратегии помощи неспециалистам. Труды конференции CHI 2019 года по человеческому фактору в вычислительных системах. Том 559. С. 1–12. doi : 10.1145/3290605.3300789. ISBN 9781450359702. S2CID  140281803.
  92. ^ Лиел, Йотам; Залмансон, Лиор (август 2023 г.). «Отключение лучшего суждения – соответствие алгоритмическим рекомендациям». Труды Академии управления . 2023 (1). doi : 10.5465/AMPROC.2023.277bp. ISSN  0065-0668. S2CID  260212999.
  93. ^ ab McCoy, Liam G.; Brenna, Connor TA; Chen, Stacy S.; Vold, Karina; Das, Sunit (2021-11-05). «Вера в черные ящики: машинное обучение для здравоохранения не нуждается в объяснимости, чтобы быть основанным на доказательствах». Journal of Clinical Epidemiology . 142 (Онлайн перед печатью): 252–257. doi : 10.1016/j.jclinepi.2021.11.001. ISSN  0895-4356. PMID  34748907. S2CID  243810442.
  94. ^ Гассеми, Марзиех; Окден-Райнер, Люк; Бим, Эндрю Л. (2021-11-01). «Ложная надежда современных подходов к объяснимому искусственному интеллекту в здравоохранении». The Lancet Digital Health . 3 (11): e745–e750. doi :10.1016/S2589-7500(21)00208-9. ISSN  2589-7500. PMID  34711379. S2CID  239963176.
  95. ^ Саркар, Адвайт (2022). «Является ли объяснимый ИИ гонкой против сложности модели?» (PDF) . Семинар по прозрачности и объяснениям в интеллектуальных системах (TeXSS) совместно с интеллектуальными пользовательскими интерфейсами ACM (IUI 2022) : 192–199. arXiv : 2205.10119 – через CEUR Workshop Proceedings.
  96. ^ Procaccia, Ariel D. (2019), Laslier, Jean-François; Moulin, Hervé; Sanver, M. Remzi; Zwicker, William S. (ред.), «Аксиомы должны объяснять решения», Будущее экономического проектирования: продолжающееся развитие области, как ее представляют исследователи , Исследования по экономическому проектированию, Cham: Springer International Publishing, стр. 195–199, doi : 10.1007/978-3-030-18050-8_27, ISBN 978-3-030-18050-8, получено 2024-03-21
  97. ^ Кайю, Оливье; Эндрисс, Улле (2016-05-09). «Споры о правилах голосования». Труды Международной конференции 2016 года по автономным агентам и многоагентным системам . AAMAS '16. Richland, SC: Международный фонд автономных агентов и многоагентных систем: 287–295. ISBN 978-1-4503-4239-1.
  98. ^ Питерс, Доминик; Прокачча, Ариэль Д.; Псомас, Александрос; Чжоу, Цзысинь (2020). «Объяснимое голосование». Достижения в области нейронных систем обработки информации . 33. Curran Associates, Inc.: 1525–1534.
  99. ^ Янг, Джошуа К.; Хаусладен, Карина И.; Петерс, Доминик; Пурнарас, Евангелос; Регула Хенггли Фрикер; Хелбинг, Дирк (2023). «Проектирование цифровых систем голосования для граждан: достижение справедливости и легитимности в цифровом партисипаторном бюджетировании». arXiv : 2310.03501 [cs.HC].
  100. ^ Низри, Меир; Хазон, Ноам; Азария, Амос (28.06.2022). «Объясняемое распределение на основе Шепли (Студенческий реферат)». Труды конференции AAAI по искусственному интеллекту . 36 (11): 13023–13024. doi :10.1609/aaai.v36i11.21648. ISSN  2374-3468. S2CID  250296641.

Внешние ссылки