В регулировании алгоритмов , особенно искусственного интеллекта и его подобласти машинного обучения , право на объяснение (или право на объяснение ) — это право на объяснение результатов работы алгоритма. Такие права в первую очередь относятся к правам личности на получение разъяснений по решениям, которые существенно влияют на человека, особенно в юридическом или финансовом отношении. Например, человек, который подает заявку на получение кредита и получает отказ, может попросить объяснений, которые могут быть такими: « Кредитное бюро X сообщает, что вы объявили о банкротстве в прошлом году; это основной фактор, позволяющий считать вас слишком вероятным для дефолта, и поэтому мы не даст вам кредит, на который вы подали заявку».
Некоторые такие законные права уже существуют, тогда как объем общего «права на объяснение» является предметом продолжающихся дискуссий. Высказывались аргументы в пользу того, что «социальное право на объяснение» является важнейшей основой информационного общества, особенно потому, что институтам этого общества придется использовать цифровые технологии, искусственный интеллект и машинное обучение. [1] Другими словами, соответствующие автоматизированные системы принятия решений, использующие объяснимость, будут более надежными и прозрачными. Без этого права, которое можно было бы закрепить как юридически, так и посредством профессиональных стандартов , у общественности не будет возможности оспаривать решения автоматизированных систем.
В соответствии с Законом о равных кредитных возможностях (Положение B Кодекса федеральных правил ), Раздел 12, Глава X, Часть 1002, §1002.9, кредиторы обязаны уведомлять заявителей, которым отказано в кредите, с указанием конкретных причин. Как подробно описано в §1002.9(b)(2): [2]
(2) Указание конкретных причин. Изложение причин неблагоприятных действий, требуемое пунктом (a)(2)(i) настоящего раздела, должно быть конкретным и указывать основную причину(ы) неблагоприятных действий. Заявления о том, что неблагоприятное действие было основано на внутренних стандартах или политике кредитора или что заявитель, совместный заявитель или подобная сторона не смогли получить квалификационный балл в системе кредитного рейтинга кредитора, являются недостаточными.
Официальная интерпретация этого раздела подробно описывает, какие типы заявлений являются приемлемыми. Кредиторы соблюдают это положение, предоставляя список причин (обычно не более 4, в зависимости от интерпретации правил), состоящий из числовых цифр.код причины (в качестве идентификатора) и соответствующее объяснение, определяющее основные факторы, влияющие на кредитный рейтинг. [3]Примером может быть:[4]
Общий регламент по защите данных Европейского Союза (принятый в 2016 году, вступающий в силу в 2018 году) расширяет права автоматизированного принятия решений, предусмотренные в Директиве о защите данных 1995 года , обеспечивая юридически оспариваемую форму права на объяснение, указанную как таковая в декларативной части 71: «[ субъект данных должен иметь] право... получить объяснение принятого решения». В полном объеме:
Субъект данных должен иметь право не подвергаться решению, которое может включать в себя меры по оценке личных аспектов, касающихся его или нее, которые основаны исключительно на автоматизированной обработке и которые вызывают правовые последствия в отношении него или ее или аналогичным образом существенно влияют на него. или ее, например, автоматический отказ в онлайн-заявке на получение кредита или практика электронного найма без какого-либо вмешательства человека.
...
В любом случае такая обработка должна подлежать соответствующим гарантиям, которые должны включать конкретную информацию для субъекта данных и право на вмешательство человека, на выражение своей точки зрения, на получение объяснения решения, принятого после такой оценки. и оспорить это решение.
Однако степень, в которой сами правила предоставляют «право на объяснение», активно обсуждается. [5] [6] [7] Есть два основных направления критики. Существуют серьезные юридические проблемы с правом, предусмотренным статьей 22, поскольку декламация не является обязательной, а право на объяснение не упоминается в обязательных статьях текста, поскольку оно было удалено в ходе законодательного процесса. [6] Кроме того, существуют существенные ограничения на типы охватываемых автоматизированных решений , которые должны быть как «исключительно» основаны на автоматизированной обработке, так и иметь юридические или аналогичные значимые последствия, что существенно ограничивает диапазон автоматизированных систем и решений. к которому будет применяться это право. [6] В частности, это право вряд ли будет применяться во многих случаях алгоритмических разногласий, которые были подняты в средствах массовой информации. [8]
Второй потенциальный источник такого права указан в статье 15: «право на доступ субъекта данных». Это повторяет аналогичное положение Директивы о защите данных 1995 года, разрешающее субъекту данных доступ к «значимой информации о задействованной логике» в том же важном, исключительно автоматизированном процессе принятия решений, который содержится в статье 22. Однако это также страдает от предполагаемых проблем, которые касаются сроков, когда это право может быть использовано, а также практических проблем, которые означают, что во многих случаях, вызывающих общественный интерес, оно может не иметь обязательной силы. [6]
Во Франции Loi pour une République nuérique (Закон о цифровой республике или loi numérique ) 2016 года вносит поправки в административный кодекс страны, вводя новое положение, разъясняющее решения, принимаемые органами государственного сектора в отношении отдельных лиц. [9] Он отмечает, что в случае «решения, принятого на основе алгоритмического лечения», правила, определяющие это лечение и его «основные характеристики», должны быть сообщены гражданину по запросу, если не существует исключения ( например, для национальной безопасности или обороны). Они должны включать следующее:
Ученые отметили, что это право, хотя и ограничивается административными решениями, выходит за рамки права GDPR явно применяться к поддержке принятия решений, а не к решениям, «исключительно» основанным на автоматизированной обработке, а также обеспечивает основу для объяснения конкретных решений. [9] Действительно, права на автоматическое принятие решений согласно GDPR в Европейском Союзе, одном из мест, где искали «право на объяснение», берут свое начало во французском законодательстве конца 1970-х годов. [10]
Некоторые утверждают, что «право на объяснение» в лучшем случае ненужно, в худшем — вредно и угрожает задушить инновации. Конкретная критика включает в себя: предпочтение человеческих решений над машинными, избыточность существующих законов и сосредоточенность на процессе, а не на результате. [11]
Авторы исследования «Раб алгоритма? Почему «право на объяснение», вероятно, не является тем средством правовой защиты, которое вы ищете» Лилиан Эдвардс и Майкл Вил утверждают, что право на объяснение не является решением проблемы ущерба, причиненного заинтересованным сторонам алгоритмическими решениями. Они также заявляют, что право на объяснение в GDPR имеет узкое определение и несовместимо с тем, как развиваются современные технологии машинного обучения. Учитывая эти ограничения, определение прозрачности в контексте алгоритмической подотчетности остается проблемой. Например, предоставление исходного кода алгоритмов может быть недостаточным и может создать другие проблемы с точки зрения раскрытия конфиденциальной информации и взлома технических систем. Чтобы смягчить эту проблему, Эдвардс и Вил утверждают, что система аудита могла бы быть более эффективной, позволяя аудиторам просматривать входные и выходные данные процесса принятия решений из внешней оболочки, другими словами, «объясняя черные ящики, не открывая их». [8]
Аналогичным образом, оксфордские ученые Брайс Гудман и Сет Флаксман утверждают, что GDPR создает «право на объяснение», но не углубляются в подробности этого вопроса, заявляя об ограничениях действующего GDPR. Что касается этой дискуссии, ученые Эндрю Д. Селбст и Джулия Паулз заявляют, что дискуссию следует переориентировать на обсуждение того, используется ли фраза «право на объяснение» или нет, больше внимания необходимо уделять четким требованиям GDPR и тому, как они связаны с его основные цели, и необходимо уделить больше внимания определению того, что на самом деле означает законодательный текст. [12]
Более того, многие алгоритмы, используемые в машинном обучении, нелегко объяснить. Например, выходные данные глубокой нейронной сети зависят от многих слоев вычислений, связанных сложным образом, и ни один вход или вычисление не могут быть доминирующим фактором. Область объяснимого ИИ стремится предоставить лучшие объяснения существующих алгоритмов и алгоритмов, которые легче объяснить, но это молодая и активная область. [13] [14]
Другие утверждают, что трудности с объяснительностью обусловлены слишком узким вниманием к техническим решениям, а не увязыванием проблемы с более широкими вопросами, поднимаемыми «социальным правом на объяснение». [1]
Эдвардс и Вил считают, что право на объяснение дает некоторые основания для объяснений по поводу конкретных решений. Они обсуждают два типа алгоритмических объяснений: модельно-ориентированные объяснения и предметно-ориентированные объяснения (SCE), которые в целом связаны с объяснениями систем или решений. [8]
SCE рассматриваются как лучший способ обеспечить какое-либо средство правовой защиты, хотя и с некоторыми серьезными ограничениями, если данные слишком сложны. Их предложение состоит в том, чтобы разбить полную модель и сосредоточиться на конкретных проблемах посредством педагогических объяснений конкретного запроса, «который может быть реальным, а может быть вымышленным или исследовательским». Эти объяснения обязательно будут включать в себя компромиссы с точностью, чтобы уменьшить сложность.
С растущим интересом к объяснению технических систем принятия решений в области проектирования взаимодействия человека и компьютера исследователи и дизайнеры прилагают усилия, чтобы открыть черный ящик с точки зрения математически интерпретируемых моделей, удаленных от когнитивной науки и реальных потребностей людей. Альтернативные подходы заключаются в том, чтобы позволить пользователям свободно исследовать поведение системы посредством интерактивных объяснений.
Одним из предложений Эдвардса и Вила является частичное устранение прозрачности как необходимого ключевого шага на пути к подотчетности и возмещению ущерба. Они утверждают, что люди, пытающиеся решить проблемы защиты данных, стремятся к действию, а не к объяснениям. Фактическая ценность объяснения будет заключаться не в том, чтобы облегчить или возместить понесенный эмоциональный или экономический ущерб, а в том, чтобы понять, почему что-то произошло, и помочь гарантировать, что ошибка не повторится. [8]
В более широком смысле, в исследовании «Объяснимое машинное обучение в развертывании» авторы рекомендуют создать объяснимую структуру, четко устанавливающую желаемые результаты, путем выявления заинтересованных сторон, взаимодействия с заинтересованными сторонами и понимания цели объяснения. Наряду с этим в системе необходимо учитывать вопросы объяснимости, такие как вопросы причинно-следственной связи, конфиденциальности и улучшения производительности. [15]