Алгоритмическая предвзятость

Блок-схема, демонстрирующая решения, принимаемые рекомендательным механизмом , 2001 г. ^[1]

Алгоритмическая предвзятость описывает систематические и повторяющиеся ошибки в компьютерной системе , которые приводят к «несправедливым» результатам, таким как «преимущество» одной категории над другой способами, отличными от предполагаемой функции алгоритма.

Предвзятость может возникнуть из-за многих факторов, включая, помимо прочего, разработку алгоритма или непреднамеренное или непредвиденное использование или решения, касающиеся способа кодирования, сбора, выбора или использования данных для обучения алгоритма. Например, алгоритмическая предвзятость наблюдалась в результатах поисковых систем и на платформах социальных сетей . Эта предвзятость может иметь последствия, начиная от непреднамеренных нарушений конфиденциальности и заканчивая усилением социальных предвзятостей расы, пола, сексуальности и этнической принадлежности. Изучение алгоритмической предвзятости больше всего касается алгоритмов, которые отражают «систематическую и несправедливую» дискриминацию. ^{[2] Эта предвзятость только недавно была рассмотрена в правовых рамках, таких как}Общий регламент Европейского союза по защите данных (предложен в 2018 году) и Закон об искусственном интеллекте (предложен в 2021 году, одобрен в 2024 году).

По мере того, как алгоритмы расширяют свои возможности по организации общества, политики, институтов и поведения, социологи стали беспокоиться о том, как непредвиденные результаты и манипуляция данными могут влиять на физический мир. Поскольку алгоритмы часто считаются нейтральными и беспристрастными, они могут неточно проецировать большую власть, чем человеческий опыт (отчасти из-за психологического феномена предвзятости автоматизации ), а в некоторых случаях опора на алгоритмы может вытеснять человеческую ответственность за их результаты. Предвзятость может проникать в алгоритмические системы в результате уже существующих культурных, социальных или институциональных ожиданий; из-за того, как выбираются функции и метки; из-за технических ограничений их дизайна; или из-за использования в непредвиденных контекстах или аудиториями, которые не учитываются в первоначальном дизайне программного обеспечения. ^[3]

Алгоритмическая предвзятость упоминалась в случаях, начиная от результатов выборов и заканчивая распространением разжигания ненависти в Интернете . Она также возникла в уголовном правосудии, здравоохранении и найме, усугубляя существующие расовые, социально-экономические и гендерные предвзятости. Относительная неспособность технологии распознавания лиц точно идентифицировать темнокожие лица была связана с многочисленными неправомерными арестами чернокожих мужчин, проблема, вытекающая из несбалансированных наборов данных. Проблемы в понимании, исследовании и обнаружении алгоритмической предвзятости сохраняются из-за патентованной природы алгоритмов, которые обычно рассматриваются как коммерческая тайна. Даже при обеспечении полной прозрачности сложность некоторых алгоритмов создает препятствие для понимания их функционирования. Кроме того, алгоритмы могут меняться или реагировать на ввод или вывод способами, которые невозможно предвидеть или легко воспроизвести для анализа. Во многих случаях даже в пределах одного веб-сайта или приложения нет единого «алгоритма» для изучения, а есть сеть из множества взаимосвязанных программ и входных данных, даже между пользователями одной и той же службы.

Определения

Алгоритмы трудно определить , ^[4] но их можно в целом понимать как списки инструкций, которые определяют, как программы считывают, собирают, обрабатывают и анализируют данные для генерации выходных данных. ^[5]^{: 13} Для строгого технического введения см. Алгоритмы . Достижения в области компьютерного оборудования привели к повышению способности обрабатывать, хранить и передавать данные. Это, в свою очередь, ускорило разработку и внедрение таких технологий, как машинное обучение и искусственный интеллект . ^[6]^{: 14–15} Анализируя и обрабатывая данные, алгоритмы являются основой поисковых систем, ^[7] веб-сайтов социальных сетей, ^[8] рекомендательных систем, ^[9] онлайн-ритейла, ^[10] интернет-рекламы, ^[11] и многого другого. ^[12]

Современные социологи обеспокоены алгоритмическими процессами, встроенными в аппаратные и программные приложения, из-за их политического и социального воздействия и подвергают сомнению основные предположения о нейтральности алгоритма. ^[13]^{: 2}^[14]^{: 563}^[15]^{: 294}^[16] Термин алгоритмическое смещение описывает систематические и повторяющиеся ошибки, которые создают несправедливые результаты, такие как привилегирование одной произвольной группы пользователей над другими. Например, алгоритм кредитного рейтинга может отказать в кредите, не будучи несправедливым, если он последовательно взвешивает соответствующие финансовые критерии. Если алгоритм рекомендует кредиты одной группе пользователей, но отказывает в кредитах другому набору почти идентичных пользователей на основе несвязанных критериев, и если это поведение может повторяться в нескольких случаях, алгоритм можно описать как предвзятый . ^[17]^{: 332} Это смещение может быть преднамеренным или непреднамеренным (например, оно может исходить из предвзятых данных, полученных от работника, который ранее выполнял работу, которую алгоритм будет выполнять с этого момента).

Методы

Предвзятость может быть введена в алгоритм несколькими способами. Во время сборки набора данных данные могут быть собраны, оцифрованы, адаптированы и введены в базу данных в соответствии с разработанными человеком критериями каталогизации . ^[18]^{: 3} Затем программисты назначают приоритеты или иерархии для того, как программа оценивает и сортирует эти данные. Это требует человеческих решений о том, как данные классифицируются и какие данные включаются или отбрасываются. ^[18]^{: 4} Некоторые алгоритмы собирают свои собственные данные на основе выбранных человеком критериев, которые также могут отражать предвзятость разработчиков-людей. ^[18]^{: 8} Другие алгоритмы могут усиливать стереотипы и предпочтения, поскольку они обрабатывают и отображают «релевантные» данные для пользователей-людей, например, выбирая информацию на основе предыдущих выборов похожего пользователя или группы пользователей. ^[18]^{: 6}

Помимо сбора и обработки данных, предвзятость может возникнуть в результате дизайна. ^[19] Например, алгоритмы, которые определяют распределение ресурсов или проверку (например, определение школьных мест), могут непреднамеренно дискриминировать категорию при определении риска на основе похожих пользователей (как в кредитных рейтингах). ^[20]^{: 36} Между тем, рекомендательные системы, которые работают, связывая пользователей с похожими пользователями или которые используют предполагаемые маркетинговые черты, могут полагаться на неточные ассоциации, которые отражают широкие этнические, гендерные, социально-экономические или расовые стереотипы. Другой пример — определение критериев того, что включено и исключено из результатов. Эти критерии могут представлять непредвиденные результаты для результатов поиска, например, с программным обеспечением для рекомендаций по рейсам, которое пропускает рейсы, которые не следуют маршрутам полетов авиакомпании-спонсора. ^[19] Алгоритмы также могут демонстрировать предвзятость неопределенности , предлагая более уверенные оценки при наличии больших наборов данных . Это может исказить алгоритмические процессы в сторону результатов, которые более точно соответствуют более крупным выборкам, что может привести к игнорированию данных из недостаточно представленных групп населения. ^[21]^{: 4}

История

Ранние критические замечания

Самые ранние компьютерные программы были разработаны для имитации человеческих рассуждений и выводов и считались функционирующими, когда они успешно и последовательно воспроизводили эту человеческую логику. В своей книге 1976 года « Мощь компьютеров и человеческий разум » пионер искусственного интеллекта Джозеф Вайценбаум предположил, что предвзятость может возникать как из-за данных, используемых в программе, так и из-за способа кодирования программы. ^[22]^{: 149}

Вайценбаум писал, что программы — это последовательность правил, созданных людьми для того, чтобы компьютер им следовал. Последовательно следуя этим правилам, такие программы «воплощают закон», ^[22]^{: 40} то есть, обеспечивают определенный способ решения проблем. Правила, которым следует компьютер, основаны на предположениях программиста о том, как эти проблемы могут быть решены. Это означает, что код может включать в себя воображение программиста о том, как работает мир, включая его предубеждения и ожидания. ^[22]^{: 109} Хотя компьютерная программа может включать в себя предубеждения таким образом, Вайценбаум также отметил, что любые данные, переданные машине, дополнительно отражают «человеческие процессы принятия решений» по мере отбора данных. ^[22]^{: 70, 105}

Наконец, он отметил, что машины могут также передавать хорошую информацию с непреднамеренными последствиями , если пользователи не знают, как интерпретировать результаты. ^[22]^{: 65} Вайценбаум предостерег от доверия решениям, принятым компьютерными программами, которые пользователь не понимает, сравнивая такую веру с туристом, который может найти дорогу в гостиничный номер, исключительно поворачивая налево или направо при подбрасывании монеты. Важно то, что у туриста нет оснований понимать, как или почему он прибыл в пункт назначения, и успешное прибытие не означает, что процесс является точным или надежным. ^[22]^{: 226}

Ранний пример алгоритмической предвзятости привел к тому, что в период с 1982 по 1986 год в Медицинскую школу при больнице Св. Георгия ежегодно отказывали 60 женщинам и представителям этнических меньшинств, что было связано с внедрением новой системы оценки с использованием компьютера, которая отказывала в приеме женщинам и мужчинам с «иностранно звучащими именами» на основе исторических тенденций в приеме. ^[24] В то время как многие школы в то время использовали аналогичные предвзятости в своем процессе отбора, школа Св. Георгия была наиболее известна тем, что автоматизировала указанную предвзятость с помощью алгоритма, тем самым привлекая внимание людей в гораздо более широком масштабе.

В последние годы, когда все больше алгоритмов стали использовать методы машинного обучения на реальных данных, алгоритмическая предвзятость стала обнаруживаться чаще из-за предвзятости, существующей в самих данных.

Современная критика и отклики

Хотя хорошо спроектированные алгоритмы часто определяют результаты, которые в равной степени (или более) справедливы, чем решения людей, случаи предвзятости все еще случаются и их трудно предсказать и проанализировать. ^[25] Сложность анализа алгоритмической предвзятости выросла вместе со сложностью программ и их дизайна. Решения, принятые одним дизайнером или командой дизайнеров, могут быть скрыты среди множества фрагментов кода, созданных для одной программы; со временем эти решения и их коллективное влияние на вывод программы могут быть забыты. ^[26]^{: 115} Теоретически эти предвзятости могут создавать новые модели поведения или «сценарии» в отношении определенных технологий, поскольку код взаимодействует с другими элементами общества. ^[27] Предвзятости также могут влиять на то, как общество формируется вокруг точек данных , которые требуются алгоритмам. Например, если данные показывают большое количество арестов в определенной области, алгоритм может назначить больше полицейских патрулей в эту область, что может привести к большему количеству арестов. ^[28]^{: 180}

Решения алгоритмических программ можно рассматривать как более авторитетные, чем решения людей, которым они призваны помогать, ^[29]^{: 15} процесс, описанный автором Клэем Ширки как «алгоритмический авторитет». ^[30] Ширки использует этот термин для описания «решения считать авторитетным неуправляемый процесс извлечения ценности из разнообразных, ненадежных источников», таких как результаты поиска. ^[30] Эта нейтральность также может быть искажена языком, используемым экспертами и средствами массовой информации, когда результаты представляются общественности. Например, список новостных статей, выбранных и представленных как «трендовые» или «популярные», может быть создан на основе значительно более широких критериев, чем просто их популярность. ^[18]^{: 14}

Из-за их удобства и авторитетности алгоритмы теоретически рассматриваются как средство делегирования ответственности от людей. ^[29]^{: 16}^[31]^{: 6} Это может иметь эффект сокращения альтернативных вариантов, компромиссов или гибкости. ^[29]^{: 16} Социолог Скотт Лэш критиковал алгоритмы как новую форму «генеративной силы», поскольку они являются виртуальным средством создания реальных целей. Там, где раньше человеческое поведение генерировало данные для сбора и изучения, мощные алгоритмы все больше могли формировать и определять человеческое поведение. ^[32]^{: 71}

Опасения по поводу влияния алгоритмов на общество привели к созданию рабочих групп в таких организациях, как Google и Microsoft , которые совместно создали рабочую группу под названием «Справедливость, подотчетность и прозрачность в машинном обучении». ^[33]^{: 115} Идеи от Google включали общественные группы, которые патрулируют результаты алгоритмов и голосуют за контроль или ограничение результатов, которые, по их мнению, имеют негативные последствия. ^[33]^{: 117} В последние годы изучение справедливости, подотчетности и прозрачности (FAT) алгоритмов превратилось в отдельную междисциплинарную область исследований с ежегодной конференцией под названием FAccT. ^[34] Критики предположили, что инициативы FAT не могут эффективно выполнять функции независимых контролеров, когда многие из них финансируются корпорациями, создающими изучаемые системы. ^[35]

Типы

Существующий ранее

Предшествующая предвзятость в алгоритме является следствием базовых социальных и институциональных идеологий . Такие идеи могут влиять на личные предвзятости или создавать их у отдельных разработчиков или программистов. Такие предубеждения могут быть явными и сознательными или неявными и бессознательными. ^[17]^{: 334}^[15]^{: 294} Плохо выбранные входные данные или просто данные из предвзятого источника будут влиять на результаты, создаваемые машинами. ^[23]^{: 17} Кодирование предшествовавшей предвзятости в программное обеспечение может сохранить социальную и институциональную предвзятость и, без исправления, может быть воспроизведено во всех будущих использованиях этого алгоритма. ^[26]^{: 116}^[31]^{: 8}

Примером такой формы предвзятости является Программа Закона о британском гражданстве, разработанная для автоматизации оценки новых британских граждан после Закона о британском гражданстве 1981 года . ^[17]^{: 341} Программа точно отражала принципы закона, которые гласили, что «мужчина является отцом только своих законных детей, тогда как женщина является матерью всех своих детей, законных или нет». ^[17]^{: 341}^[36]^{: 375} В своей попытке перенести определенную логику в алгоритмический процесс BNAP вписал логику Закона о британском гражданстве в свой алгоритм, который увековечил бы ее, даже если бы закон был в конечном итоге отменен. ^[17]^{: 342}

Другой источник смещения, который называется «смещением выбора метки» ^[37] , возникает, когда для обучения алгоритмов используются косвенные меры, которые создают смещение против определенных групп. Например, широко используемый алгоритм предсказывал расходы на здравоохранение в качестве косвенных показателей потребностей в здравоохранении и использовал прогнозы для распределения ресурсов для помощи пациентам со сложными потребностями в здравоохранении. Это вносило смещение, поскольку чернокожие пациенты несут более низкие расходы, даже если они так же нездоровы, как и белые пациенты ^[38]. Решения «смещения выбора метки» направлены на более близкое соответствие фактической цели (то, что предсказывает алгоритм) идеальной цели (то, что исследователи хотят, чтобы алгоритм предсказывал), поэтому для предыдущего примера вместо прогнозирования стоимости исследователи сосредоточились бы на переменной потребностей в здравоохранении, которая является гораздо более значимой. Корректировка цели привела к почти удвоению числа чернокожих пациентов, отобранных для программы. ^[37]

Предвзятость машинного обучения

Смещение машинного обучения относится к систематическим и несправедливым различиям в результатах работы алгоритмов машинного обучения. Эти смещения могут проявляться по-разному и часто являются отражением данных, используемых для обучения этих алгоритмов. Вот некоторые ключевые аспекты:

Языковая предвзятость

Языковая предвзятость относится к типу статистической выборочной предвзятости, связанной с языком запроса, которая приводит к «систематическому отклонению в выборочной информации, что не позволяет ей точно представлять истинное покрытие тем и взглядов, доступных в их репозитории». ^[39] Работа Луо и др. ^[39] показывает, что текущие большие языковые модели, поскольку они преимущественно обучаются на англоязычных данных, часто представляют англо-американские взгляды как истину, в то же время систематически преуменьшая неанглийские точки зрения как нерелевантные, неправильные или шумовые. Когда ChatGPT запрашивается с политическими идеологиями, такими как «Что такое либерализм?», то, поскольку он был обучен на англо-центричных данных, описывает либерализм с англо-американской точки зрения, подчеркивая аспекты прав человека и равенства, в то время как равноценно обоснованные аспекты, такие как «выступает против вмешательства государства в личную и экономическую жизнь» с доминирующей вьетнамской точки зрения и «ограничение государственной власти» с преобладающей китайской точки зрения, отсутствуют. ^[39]

Гендерная предвзятость

Гендерная предвзятость относится к тенденции этих моделей производить результаты, которые несправедливо предвзяты по отношению к одному полу по сравнению с другим. Эта предвзятость обычно возникает из данных, на которых обучаются эти модели. Например, большие языковые модели часто назначают роли и характеристики на основе традиционных гендерных норм; они могут ассоциировать медсестер или секретарей преимущественно с женщинами, а инженеров или генеральных директоров — с мужчинами. ^[40]^[41]

Стереотипы

Помимо пола и расы, эти модели могут усиливать широкий спектр стереотипов, включая те, которые основаны на возрасте, национальности, религии или роде занятий. Это может привести к результатам, которые несправедливо обобщают или карикатурно изображают группы людей, иногда вредным или уничижительным образом. ^[42]

В последнее время основное внимание в исследованиях уделяется сложному взаимодействию между грамматическими свойствами языка и реальными предубеждениями, которые могут быть встроены в системы ИИ, потенциально закрепляя вредные стереотипы и предположения. Исследование гендерных предубеждений в языковых моделях, обученных на исландском языке, языке с высокой степенью грамматического гендера, показало, что модели демонстрируют значительную предрасположенность к мужскому грамматическому роду при упоминании терминов профессий, даже для профессий с преобладанием женщин. ^[43] Это говорит о том, что модели усиливают общественные гендерные предубеждения, присутствующие в данных обучения.

Политическая предвзятость

Политическая предвзятость относится к тенденции алгоритмов систематически отдавать предпочтение определенным политическим точкам зрения, идеологиям или результатам по сравнению с другими. Языковые модели также могут демонстрировать политическую предвзятость. Поскольку данные обучения включают широкий спектр политических мнений и охвата, модели могут генерировать ответы, которые склоняются к определенным политическим идеологиям или точкам зрения, в зависимости от распространенности этих взглядов в данных. ^[44]

Технический

Техническая предвзятость возникает из-за ограничений программы, вычислительной мощности, ее дизайна или других ограничений системы. ^[17]^{: 332} Такая предвзятость также может быть ограничением дизайна, например, поисковая система, которая показывает три результата на экране, может пониматься как отдающая верхним трем результатам немного большее предпочтение, чем следующим трем, как при отображении цен на авиабилеты. ^[17]^{: 336} Другим случаем является программное обеспечение, которое полагается на случайность для справедливого распределения результатов. Если механизм генерации случайных чисел не является по-настоящему случайным, он может вносить предвзятость, например, путем перекоса выбора в сторону элементов в конце или начале списка. ^[17]^{: 332}

Деконтекстуализированный алгоритм использует несвязанную информацию для сортировки результатов, например, алгоритм ценообразования на рейсы, который сортирует результаты в алфавитном порядке, будет предвзятым в пользу American Airlines по сравнению с United Airlines. ^[17]^{: 332} Также может применяться противоположное, в котором результаты оцениваются в контекстах, отличных от тех, в которых они собираются. Данные могут собираться без важного внешнего контекста: например, когда программное обеспечение для распознавания лиц используется камерами наблюдения, но оценивается удаленным персоналом в другой стране или регионе, или оценивается нечеловеческими алгоритмами без понимания того, что происходит за пределами поля зрения камеры . Это может привести к неполному пониманию места преступления, например, потенциально ошибочно принимая прохожих за тех, кто совершает преступление. ^[14]^{: 574}

Наконец, техническая предвзятость может быть создана путем попытки формализовать решения в конкретные шаги, исходя из предположения, что человеческое поведение работает таким же образом. Например, программное обеспечение взвешивает точки данных, чтобы определить, должен ли обвиняемый принять сделку о признании вины, игнорируя при этом влияние эмоций на присяжных. ^[17]^{: 332} Другой непреднамеренный результат этой формы предвзятости был обнаружен в программном обеспечении для обнаружения плагиата Turnitin , которое сравнивает написанные студентами тексты с информацией, найденной в Интернете, и возвращает оценку вероятности того, что работа студента скопирована. Поскольку программное обеспечение сравнивает длинные строки текста, оно с большей вероятностью идентифицирует неносителей английского языка, чем носителей языка, поскольку последняя группа может быть более способна изменять отдельные слова, разбивать строки плагиатного текста или скрывать скопированные отрывки с помощью синонимов. Поскольку носителям языка легче избежать обнаружения из-за технических ограничений программного обеспечения, это создает ситуацию, когда Turnitin выявляет плагиат среди иностранных носителей английского языка, одновременно позволяя большему количеству носителей языка избежать обнаружения. ^[29]^{: 21–22}

Эмерджент

Эмерджентная предвзятость является результатом использования и опоры на алгоритмы в новых или непредвиденных контекстах. ^[17]^{: 334} Алгоритмы могли не быть настроены для рассмотрения новых форм знаний, таких как новые лекарства или медицинские прорывы, новые законы, бизнес-модели или меняющиеся культурные нормы. ^[17]^{: 334, 336} Это может исключать группы посредством технологий, не предоставляя четких схем для понимания того, кто несет ответственность за их исключение. ^[28]^{: 179}^[15]^{: 294} Аналогичным образом, проблемы могут возникать, когда данные для обучения (образцы, «скармливаемые» машине, с помощью которых она моделирует определенные выводы) не соответствуют контекстам, с которыми алгоритм сталкивается в реальном мире. ^[45]

В 1990 году пример эмерджентной предвзятости был выявлен в программном обеспечении, используемом для размещения студентов-медиков США в ординатуре, Национальной программе подбора ординатуры (NRMP). ^[17]^{: 338} Алгоритм был разработан в то время, когда немногие супружеские пары искали ординатуру вместе. По мере того, как все больше женщин поступали в медицинские вузы, все больше студентов, вероятно, подавали заявку на ординатуру вместе со своими партнерами. Процесс требовал от каждого заявителя предоставить список предпочтений для размещения по всей территории США, который затем сортировался и назначался, когда больница и заявитель оба соглашались на подбор. В случае супружеских пар, где оба стремились к ординатуре, алгоритм сначала взвешивал выбор местоположения партнера с более высоким рейтингом. Результатом было частое назначение высокопредпочитаемых школ первому партнеру и менее предпочтительных школ второму партнеру, вместо сортировки для компромиссов в предпочтениях размещения. ^[17]^{: 338}^[46]

Дополнительные возникающие предубеждения включают в себя:

Корреляции

Непредсказуемые корреляции могут возникать при сравнении больших наборов данных друг с другом. Например, данные, собранные о шаблонах веб-браузинга, могут совпадать с сигналами, отмечающими конфиденциальные данные (такие как раса или сексуальная ориентация). При выборе в соответствии с определенным поведением или шаблонами просмотра конечный эффект будет почти идентичен дискриминации с использованием прямых данных о расе или сексуальной ориентации. ^[21]^{: 6} В других случаях алгоритм делает выводы из корреляций, не имея возможности понять эти корреляции. Например, одна программа сортировки отдавала астматикам, у которых была пневмония, более низкий приоритет, чем астматикам, у которых не было пневмонии. Алгоритм программы делал это, потому что он просто сравнивал показатели выживаемости: астматики с пневмонией подвергаются наибольшему риску. Исторически сложилось так, что по этой же причине больницы обычно оказывают таким астматикам наилучшую и самую немедленную помощь. ^[47]^{[ необходимо разъяснение ]}

Непредвиденное использование

Эмерджентное смещение может возникнуть, когда алгоритм используется непредвиденной аудиторией. Например, машины могут потребовать, чтобы пользователи могли читать, писать или понимать числа, или соотноситься с интерфейсом, используя метафоры, которые они не понимают. ^[17]^{: 334} Эти исключения могут усугубляться, поскольку предвзятая или исключающая технология все глубже интегрируется в общество. ^[28]^{: 179}

Помимо исключения, непредвиденные варианты использования могут возникнуть из-за того, что конечный пользователь полагается на программное обеспечение, а не на свои собственные знания. В одном примере непредвиденная группа пользователей привела к алгоритмическому смещению в Великобритании, когда программа British National Act была создана в качестве доказательства концепции компьютерными учеными и иммиграционными юристами для оценки пригодности для британского гражданства . Разработчики имели доступ к юридической экспертизе за пределами конечных пользователей в иммиграционных офисах, чье понимание как программного обеспечения, так и иммиграционного права, вероятно, было бы неискушенным. Агенты, управляющие вопросами, полностью полагались на программное обеспечение, которое исключало альтернативные пути к гражданству, и использовали программное обеспечение даже после того, как новые судебные решения и правовые толкования привели к тому, что алгоритм устарел. В результате разработки алгоритма для пользователей, которые, как предполагалось, были юридически подкованы в иммиграционном законодательстве, алгоритм программного обеспечения косвенно привел к смещению в пользу заявителей, которые соответствовали очень узкому набору правовых критериев, установленных алгоритмом, а не более широким критериям британского иммиграционного права. ^[17]^{: 342}

Циклы обратной связи

Эмерджентное смещение может также создать петлю обратной связи или рекурсию, если данные, собранные для алгоритма, приводят к реальным ответам, которые возвращаются в алгоритм. ^[48]^[49] Например, моделирование программного обеспечения для прогнозирования полицейской деятельности (PredPol), развернутого в Окленде, Калифорния, показало увеличение присутствия полиции в черных кварталах на основе данных о преступности, сообщенных общественностью. ^[50] Моделирование показало, что общественность сообщала о преступлениях, основываясь на виде полицейских машин, независимо от того, что делала полиция. Моделирование интерпретировало появление полицейских машин при моделировании своих прогнозов преступности и, в свою очередь, назначало еще большее увеличение присутствия полиции в этих кварталах. ^[48]^[51]^[52] Группа анализа данных по правам человека , которая проводила моделирование, предупредила, что в местах, где расовая дискриминация является фактором арестов, такие петли обратной связи могут усилить и увековечить расовую дискриминацию в полицейской деятельности. ^[49] Другим известным примером такого алгоритма, демонстрирующего такое поведение, является COMPAS , программное обеспечение, которое определяет вероятность того, что человек станет уголовным преступником. Программное обеспечение часто критикуют за то, что оно маркирует чернокожих людей как преступников с гораздо большей вероятностью, чем других, а затем возвращает данные себе в случае, если человек становится зарегистрированным преступником, еще больше усиливая предвзятость, созданную набором данных, на котором действует алгоритм.

Рекомендательные системы, такие как те, которые используются для рекомендации онлайн-видео или новостных статей, могут создавать циклы обратной связи. ^[53] Когда пользователи нажимают на контент, предложенный алгоритмами, это влияет на следующий набор предложений. ^[54] Со временем это может привести к тому, что пользователи попадут в пузырь фильтров и не будут знать о важном или полезном контенте. ^[55]^[56]

Влияние

Коммерческие влияния

Корпоративные алгоритмы могут быть искажены, чтобы незримо благоприятствовать финансовым соглашениям или договоренностям между компаниями, без ведома пользователя, который может ошибочно принять алгоритм за беспристрастный. Например, American Airlines создала алгоритм поиска рейсов в 1980-х годах. Программное обеспечение представляло клиентам ряд рейсов различных авиакомпаний, но взвешивало факторы, которые повышали его собственные рейсы, независимо от цены или удобства. В показаниях Конгрессу США президент авиакомпании прямо заявил, что система была создана с намерением получить конкурентное преимущество за счет преференциального режима. ^[57]^{: 2}^[17]^{: 331}

В статье 1998 года, описывающей Google , основатели компании приняли политику прозрачности в результатах поиска относительно платного размещения, утверждая, что «поисковые системы, финансируемые за счет рекламы, будут изначально предвзяты в пользу рекламодателей и далеки от потребностей потребителей». ^[58] Эта предвзятость будет «невидимой» манипуляцией пользователем. ^[57]^{: 3}

Поведение при голосовании

Серия исследований не определившихся избирателей в США и Индии показала, что результаты поисковых систем могли изменить результаты голосования примерно на 20%. Исследователи пришли к выводу, что у кандидатов «нет возможности конкурировать», если алгоритм, с намерением или без, повысил списки страниц для конкурирующего кандидата. ^[59] Пользователи Facebook, которые видели сообщения, связанные с голосованием, были более склонны голосовать. Рандомизированное исследование пользователей Facebook 2010 года показало 20%-ное увеличение (340 000 голосов) среди пользователей, которые видели сообщения, поощряющие голосование, а также изображения своих друзей, которые голосовали. ^[60] Ученый-юрист Джонатан Зиттрейн предупредил, что это может создать эффект «цифрового джерримендеринга» на выборах, «избирательного представления информации посредником для достижения своей повестки дня, а не для обслуживания своих пользователей», если ею намеренно манипулируют. ^[61]^{: 335}

Дискриминация по половому признаку

В 2016 году было обнаружено, что сайт профессиональных сетей LinkedIn рекомендовал мужские вариации женских имен в ответ на поисковые запросы. Сайт не давал подобных рекомендаций при поиске мужских имен. Например, «Андреа» вызывало подсказку с вопросом, имели ли пользователи в виду «Эндрю», но запросы по «Эндрю» не спрашивали, имели ли пользователи в виду «Андреа». Компания заявила, что это стало результатом анализа взаимодействия пользователей с сайтом. ^[62]

В 2012 году сеть универмагов Target была оштрафована за сбор данных, позволяющих сделать вывод о беременности покупательниц, даже если они не сообщали об этом, а затем за предоставление этой информации маркетинговым партнерам. ^[63]^{: 94}^[64] Поскольку данные были спрогнозированы, а не непосредственно наблюдались или сообщались, у компании не было юридических обязательств защищать конфиденциальность этих покупателей. ^[63]^{: 98}

Алгоритмы веб-поиска также обвинялись в предвзятости. Результаты Google могут отдавать приоритет порнографическому контенту в поисковых терминах, связанных с сексуальностью, например, «лесбиянка». Эта предвзятость распространяется на поисковую систему, показывающую популярный, но сексуализированный контент в нейтральных поисках. Например, статьи «Топ-25 самых сексуальных женщин-спортсменок» отображаются как результаты первой страницы при поиске «женщины-спортсмены». ^[65]^{: 31} В 2017 году Google скорректировал эти результаты вместе с другими, которые выявили группы ненависти , расистские взгляды, насилие над детьми и порнографию, а также другой оскорбительный и оскорбительный контент. ^[66] Другие примеры включают отображение более высокооплачиваемых вакансий для кандидатов-мужчин на сайтах поиска работы. ^[67] Исследователи также выявили, что машинный перевод демонстрирует сильную тенденцию к мужским умолчаниям. ^[68] В частности, это наблюдается в областях, связанных с несбалансированным гендерным распределением, включая профессии STEM . ^[69] Фактически, текущие системы машинного перевода не воспроизводят реальное распределение женщин-работниц. ^[70]

В 2015 году Amazon.com отключил разработанную им систему искусственного интеллекта для проверки заявлений о приеме на работу, когда понял, что она предвзята по отношению к женщинам. ^[71] Инструмент подбора персонала исключил кандидатов, которые учились в женских колледжах, и резюме, в которых было слово «женский». ^[72] Похожая проблема возникла с музыкальными потоковыми сервисами — в 2019 году было обнаружено, что алгоритм рекомендательной системы, используемый Spotify, был предвзят по отношению к артистам-женщинам. ^[73] Рекомендации песен Spotify предлагали больше исполнителей-мужчин, чем исполнителей-женщин.

Расовая и этническая дискриминация

Алгоритмы подвергались критике как метод сокрытия расовых предрассудков при принятии решений. ^[74]^[75]^[76]^{: 158} Из-за того, как в прошлом обращались с определенными расами и этническими группами, данные часто могут содержать скрытые предубеждения. ^[77] Например, чернокожие люди, скорее всего, получат более длительные сроки заключения, чем белые люди, совершившие то же преступление. ^[78]^[79] Это может потенциально означать, что система усиливает изначальные предубеждения в данных.

В 2015 году Google извинился, когда чернокожие пользователи пожаловались на то, что алгоритм идентификации изображений в приложении Photos идентифицировал их как горилл . ^[80] В 2010 году камеры Nikon подверглись критике, когда алгоритмы распознавания изображений постоянно спрашивали азиатских пользователей, моргают ли они. ^[81] Такие примеры являются результатом предвзятости в наборах биометрических данных . ^[80] Биометрические данные извлекаются из аспектов тела, включая расовые особенности, либо наблюдаемые, либо предполагаемые, которые затем могут быть преобразованы в точки данных. ^[76]^{: 154} Технология распознавания речи может иметь разную точность в зависимости от акцента пользователя. Это может быть вызвано отсутствием обучающих данных для носителей этого акцента. ^[82]

Биометрические данные о расе также могут быть выведены, а не наблюдаться. Например, исследование 2012 года показало, что имена, обычно ассоциируемые с чернокожими, с большей вероятностью давали результаты поиска, подразумевающие записи об арестах, независимо от того, есть ли какие-либо полицейские записи об имени этого человека. ^[83] Исследование 2015 года также показало, что у чернокожих и азиатов предполагается, что легкие функционируют хуже из-за того, что данные о расовом и профессиональном воздействии не были включены в модель алгоритма прогнозирования функции легких. ^[84]^[85]

В 2019 году исследование показало, что алгоритм здравоохранения, проданный Optum, отдавал предпочтение белым пациентам по сравнению с более больными черными пациентами. Алгоритм предсказывает, сколько пациенты будут стоить системе здравоохранения в будущем. Однако стоимость не является нейтральной по отношению к расе, поскольку чернокожие пациенты несли примерно на 1800 долларов меньше медицинских расходов в год, чем белые пациенты с тем же количеством хронических заболеваний, что привело к тому, что алгоритм оценил белых пациентов как имеющих такой же риск будущих проблем со здоровьем, как и чернокожих пациентов, страдающих значительно большим количеством заболеваний. ^[86]

Исследование, проведенное учеными Калифорнийского университета в Беркли в ноябре 2019 года, показало, что алгоритмы ипотечного кредитования были дискриминационными по отношению к латиноамериканцам и афроамериканцам, которые дискриминировали меньшинства на основе «кредитоспособности», которая коренится в законе США о справедливом кредитовании, который позволяет кредиторам использовать меры идентификации для определения того, достоин ли человек получения кредитов. Эти конкретные алгоритмы присутствовали в компаниях FinTech и, как было показано, дискриминировали меньшинства. ^[87]^{[ необходим неосновной источник ]}

Правоохранительные органы и судебные разбирательства

Алгоритмы уже имеют многочисленные применения в правовых системах. Примером этого является COMPAS , коммерческая программа, широко используемая судами США для оценки вероятности рецидивизма обвиняемого . ProPublica утверждает , что средний уровень риска рецидивизма, назначенный COMPAS для чернокожих обвиняемых, значительно выше, чем средний уровень риска, назначенный COMPAS для белых обвиняемых, и что чернокожие обвиняемые в два раза чаще получают ошибочную отметку «высокий риск», чем белые обвиняемые. ^[88]^[89]

Одним из примеров является использование оценок риска при вынесении уголовных приговоров в Соединенных Штатах и на слушаниях по условно-досрочному освобождению , судьям была представлена алгоритмически сгенерированная оценка, призванная отразить риск того, что заключенный повторит преступление. ^[90] В период с 1920 по 1970 год национальность отца преступника учитывалась в этих оценках риска. ^[91]^{: 4} Сегодня эти оценки предоставляются судьям в Аризоне, Колорадо, Делавэре, Кентукки, Луизиане, Оклахоме, Вирджинии, Вашингтоне и Висконсине. Независимое расследование ProPublica показало, что оценки были неточными в 80% случаев и непропорционально искаженными, что свидетельствовало о том, что чернокожие подвержены риску рецидива, на 77% чаще, чем белые. ^[90]

В одном исследовании, посвященном изучению «Риска, расы и рецидивизма: предиктивной предвзятости и несоизмеримого воздействия», утверждается о двукратной (45 процентов против 23 процентов) неблагоприятной вероятности того, что чернокожие обвиняемые по сравнению с белыми будут ошибочно классифицированы как представляющие более высокий риск, несмотря на то, что у них объективно не было никаких задокументированных рецидивов в течение двухлетнего периода наблюдения. ^[92]

В контексте предварительного заключения в статье обзора права утверждается, что алгоритмические оценки риска нарушают права на равную защиту по признаку расы, предусмотренные 14-й поправкой , поскольку утверждается, что алгоритмы являются явно дискриминационными, приводят к неравномерному обращению и не могут быть узкоспециализированы. ^[93]

Разжигание ненависти в Интернете

В 2017 году было обнаружено, что алгоритм Facebook , предназначенный для удаления онлайн-языка ненависти, дает преимущество белым мужчинам над черными детьми при оценке нежелательного контента, согласно внутренним документам Facebook. ^[94] Алгоритм, представляющий собой комбинацию компьютерных программ и рецензентов контента людьми, был создан для защиты широких категорий, а не конкретных подмножеств категорий. Например, сообщения, осуждающие «мусульман», будут заблокированы, в то время как сообщения, осуждающие «радикальных мусульман», будут разрешены. Неожиданным результатом алгоритма является разрешение языка ненависти против черных детей, потому что они осуждают подмножество черных «детей», а не «всех черных», тогда как «всех белых мужчин» вызовет блокировку, потому что белые и мужчины не считаются подмножествами. ^[94] Также было обнаружено, что Facebook позволяет покупателям рекламы нацеливать «ненавистников евреев» как категорию пользователей, что, по словам компании, было непреднамеренным результатом алгоритмов, используемых при оценке и категоризации данных. Дизайн компании также позволял покупателям рекламы блокировать афроамериканцам просмотр объявлений о жилье. ^[95]

Хотя алгоритмы используются для отслеживания и блокировки языка вражды, было обнаружено, что некоторые из них в 1,5 раза чаще отмечают информацию, размещенную чернокожими пользователями, и в 2,2 раза чаще отмечают информацию как язык вражды, если она написана на афроамериканском английском . ^[96] Без контекста оскорбления и эпитеты, даже если они использовались сообществами, которые повторно присвоили их, были отмечены. ^[97]

Наблюдение

Программное обеспечение для камер видеонаблюдения может считаться изначально политическим, поскольку оно требует, чтобы алгоритмы отличали нормальное поведение от ненормального и определяли, кто принадлежит к определенным местам в определенное время. ^[14]^{: 572} Было показано, что способность таких алгоритмов распознавать лица по всему расовому спектру ограничена расовым разнообразием изображений в его обучающей базе данных; если большинство фотографий принадлежат одной расе или полу, программное обеспечение лучше распознает других представителей этой расы или пола. ^[98] Однако даже аудиты этих систем распознавания изображений являются этически чреватыми проблемами, и некоторые ученые предположили, что контекст технологии всегда будет иметь непропорциональное влияние на сообщества, действия которых чрезмерно отслеживаются. ^[99] Например, анализ программного обеспечения, используемого для идентификации лиц на изображениях CCTV , проведенный в 2002 году , обнаружил несколько примеров предвзятости при работе с базами данных преступников. Программное обеспечение было оценено как идентифицирующее мужчин чаще, чем женщин, пожилых людей чаще, чем молодых, и идентифицирующее азиатов, афроамериканцев и другие расы чаще, чем белых. ^[28]^{: 190} Исследование 2018 года показало, что программное обеспечение для распознавания лиц, скорее всего, точно идентифицировало светлокожих (обычно европейских) мужчин, с немного более низкими показателями точности для светлокожих женщин. Темнокожие мужчины и женщины были значительно менее склонны к точной идентификации программным обеспечением для распознавания лиц. Эти различия объясняются недостаточной представленностью темнокожих участников в наборах данных, используемых для разработки этого программного обеспечения. ^[100]^[101]

Дискриминация в отношении сообщества ЛГБТК

В 2011 году пользователи приложения для знакомств с геями Grindr сообщили, что алгоритм рекомендаций магазина Android связывал Grindr с приложениями, предназначенными для поиска сексуальных преступников, что, по словам критиков, неверно связывало гомосексуализм с педофилией . Писатель Майк Энанни раскритиковал эту связь в The Atlantic , утверждая, что такие ассоциации еще больше стигматизируют геев . ^[102] В 2009 году интернет-магазин Amazon исключил из списка 57 000 книг после того, как изменение алгоритма расширило его черный список «контента для взрослых», включив в него все книги, затрагивающие темы сексуальности или геев, такие как получивший признание критиков роман « Горбатая гора » . ^[103]^[18]^{: 5}^[104]

В 2019 году было обнаружено, что в Facebook поисковые запросы «фотографии моих подруг» давали такие предложения, как «в бикини» или «на пляже». Напротив, поисковые запросы «фотографии моих друзей-мужчин» не давали никаких результатов. ^[105]

Технология распознавания лиц, как было замечено, вызывает проблемы у трансгендерных людей. В 2018 году появились сообщения о том, что водители Uber, которые были трансгендерами или совершали переход, испытывали трудности с программным обеспечением для распознавания лиц, которое Uber внедряет в качестве встроенной меры безопасности. В результате этого некоторые учетные записи трансгендерных водителей Uber были заблокированы, что стоило им платы за проезд и потенциально стоило им работы, все из-за того, что программное обеспечение для распознавания лиц испытывало трудности с распознаванием лица трансгендерного водителя, совершавшего переход. ^[106] Хотя решением этой проблемы, по-видимому, является включение трансгендерных людей в обучающие наборы для моделей машинного обучения, пример трансгендерных видеороликов YouTube, которые были собраны для использования в обучающих данных, не получил согласия трансгендерных людей, которые были включены в видео, что создало проблему нарушения конфиденциальности. ^[107]

Также было проведено исследование в Стэнфордском университете в 2017 году, в котором тестировались алгоритмы в системе машинного обучения, которая, как утверждалось, могла определять сексуальную ориентацию человека на основе изображений его лица. ^[108] Модель в исследовании предсказала правильное различие между геями и гетеросексуалами в 81% случаев и правильное различие между геями и гетеросексуалами в 74% случаев. Это исследование вызвало негативную реакцию со стороны сообщества ЛГБТКИА, которое опасалось возможных негативных последствий, которые эта система ИИ могла бы иметь для людей из сообщества ЛГБТКИА, подвергая людей риску «раскрытия» против их воли. ^[109]

Дискриминация по признаку инвалидности

Хотя модальности алгоритмической справедливости оценивались на основе различных аспектов предвзятости, таких как пол, раса и социально-экономический статус, инвалидность часто исключалась из списка. ^[110]^[111] Маргинализация, с которой в настоящее время сталкиваются люди с ограниченными возможностями в обществе, транслируется в системы и алгоритмы ИИ, создавая еще большую изоляцию ^[112]^[113]

Изменяющаяся природа инвалидности и ее субъективная характеристика затрудняют ее вычислительное решение. Отсутствие исторической глубины в определении инвалидности, сборе ее заболеваемости и распространенности в анкетах и установлении признания добавляют противоречий и двусмысленности в ее количественной оценке и расчетах. Определение инвалидности долго обсуждалось, перейдя от медицинской модели к социальной модели инвалидности совсем недавно, которая устанавливает, что инвалидность является результатом несоответствия между взаимодействием людей и барьерами в их среде, а не нарушениями и состояниями здоровья. Инвалидность также может быть ситуативной или временной, ^[114] рассматриваемой в постоянном состоянии изменения. Инвалидность невероятно разнообразна, ^[115] попадает в широкий спектр и может быть уникальной для каждого человека. Идентичность людей может варьироваться в зависимости от конкретных типов инвалидности, которые они испытывают, того, как они используют вспомогательные технологии и кого они поддерживают. Высокий уровень изменчивости в опыте людей в значительной степени персонализирует то, как может проявляться инвалидность. Перекрывающиеся идентичности и интерсекциональный опыт ^[116] исключаются из статистики и наборов данных, ^[117] следовательно, недостаточно представлены и отсутствуют в обучающих данных. ^[118] Таким образом, модели машинного обучения обучаются неравномерно, а системы искусственного интеллекта увековечивают больше алгоритмической предвзятости. ^[119] Например, если люди с нарушениями речи не включены в обучающие функции голосового управления и умных помощников ИИ, они не смогут использовать эту функцию или ответы, полученные от Google Home или Alexa, будут крайне плохими.

Учитывая стереотипы и стигмы, которые все еще существуют вокруг инвалидности, деликатный характер раскрытия этих идентификационных характеристик также несет огромные проблемы конфиденциальности. Поскольку раскрытие информации об инвалидности может быть табу и привести к дальнейшей дискриминации в отношении этой группы населения, отсутствуют явные данные об инвалидности, доступные для алгоритмических систем для взаимодействия. Люди с ограниченными возможностями сталкиваются с дополнительными вредами и рисками в отношении их социальной поддержки, стоимости медицинского страхования, дискриминации на рабочем месте и других основных потребностей при раскрытии своего статуса инвалидности. Алгоритмы еще больше усугубляют этот разрыв, воссоздавая предубеждения, которые уже существуют в общественных системах и структурах. ^[120]^[121]

Поиск Google

В то время как пользователи генерируют результаты, которые "заполняются" автоматически, Google не удалось удалить сексистский и расистский текст автозаполнения. Например, в статье Algorithms of Oppression: How Search Engines Reinforce Racism Сафия Нобл приводит пример поиска по запросу "черные девушки", который, как сообщалось, привел к порнографическим изображениям. Google заявил, что не может удалить эти страницы, если только они не считаются незаконными. ^[122]

Препятствия к исследованию

Несколько проблем затрудняют изучение крупномасштабных алгоритмических предубеждений, затрудняя применение академически строгих исследований и общественное понимание. ^[13]^{: 5} ^[123]^[124]

Определение справедливости

Литература по алгоритмической предвзятости фокусируется на средстве исправления справедливости, но определения справедливости часто несовместимы друг с другом и реалиями оптимизации машинного обучения. ^[125]^[126] Например, определение справедливости как «равенства результатов» может просто относиться к системе, производящей одинаковый результат для всех людей, в то время как справедливость, определяемая как «равенство обращения», может явно учитывать различия между людьми. ^[127]^{: 2} В результате справедливость иногда описывается как находящаяся в конфликте с точностью модели, что предполагает врожденные противоречия между приоритетами социального обеспечения и приоритетами поставщиков, проектирующих эти системы. ^[128]^{: 2} В ответ на это противоречие исследователи предложили более внимательно относиться к проектированию и использованию систем, которые опираются на потенциально предвзятые алгоритмы, при этом «справедливость» определяется для конкретных приложений и контекстов. ^[129]

Сложность

Алгоритмические процессы сложны , часто превосходя понимание людей, которые их используют. ^[13]^{: 2}^[130]^{: 7} Крупномасштабные операции могут быть непонятны даже тем, кто участвует в их создании. ^[131] Методы и процессы современных программ часто затемняются невозможностью знать каждую перестановку ввода или вывода кода. ^[28]^{: 183} Социолог Бруно Латур определил этот процесс как черный ящик , процесс, в котором «научная и техническая работа становится невидимой из-за ее собственного успеха. Когда машина работает эффективно, когда вопрос фактически урегулирован, нужно сосредоточиться только на ее входах и выходах, а не на ее внутренней сложности. Таким образом, как это ни парадоксально, чем больше наука и технология преуспевают, тем более непрозрачными и непонятными они становятся». ^[132] Другие критиковали метафору черного ящика, предполагая, что современные алгоритмы — это не один черный ящик, а сеть взаимосвязанных. ^[133]^{: 92}

Примером такой сложности может служить диапазон входных данных для настройки обратной связи. Социальная сеть Facebook в 2013 году учитывала не менее 100 000 точек данных для определения макета ленты пользователя в социальных сетях. ^[134] Кроме того, большие команды программистов могут работать в относительной изоляции друг от друга и не знать о кумулятивных эффектах небольших решений в рамках связанных, сложных алгоритмов. ^[26]^{: 118} Не весь код является оригинальным и может быть заимствован из других библиотек, создавая сложный набор взаимосвязей между системами обработки и ввода данных. ^[6]^{: 22}

Дополнительная сложность возникает из-за машинного обучения и персонализации алгоритмов на основе взаимодействия с пользователем, такого как клики, время, проведенное на сайте, и другие показатели. Эти личные корректировки могут запутать общие попытки понять алгоритмы. ^[135]^{: 367}^[130]^{: 7} Один неопознанный потоковый радиосервис сообщил, что он использовал пять уникальных алгоритмов выбора музыки, которые он выбрал для своих пользователей на основе их поведения. Это создает разный опыт использования одних и тех же потоковых сервисов разными пользователями, что затрудняет понимание того, что делают эти алгоритмы. ^[13]^{: 5} Компании также часто проводят A/B-тесты для тонкой настройки алгоритмов на основе реакции пользователя. Например, поисковая система Bing может запускать до десяти миллионов тонких вариаций своего сервиса в день, создавая разный опыт использования сервиса между каждым использованием и/или пользователем. ^[13]^{: 5}

Отсутствие прозрачности

Коммерческие алгоритмы являются собственностью и могут рассматриваться как коммерческая тайна . ^[13]^{: 2}^[130]^{: 7}^[28]^{: 183} Отношение к алгоритмам как к коммерческой тайне защищает компании, такие как поисковые системы , где прозрачный алгоритм может раскрыть тактику манипулирования рейтингами поиска. ^[135]^{: 366} Это затрудняет для исследователей проведение интервью или анализа, чтобы выяснить, как функционируют алгоритмы. ^[6]^{: 20} Критики предполагают, что такая секретность также может скрывать возможные неэтичные методы, используемые при создании или обработке алгоритмического вывода. ^[135]^{: 369} Другие критики, такие как юрист и активист Катажина Шимелевич, предположили, что отсутствие прозрачности часто маскируется как результат алгоритмической сложности, защищая компании от раскрытия или расследования своих собственных алгоритмических процессов. ^[136]

Отсутствие данных о деликатных категориях

Существенным препятствием для понимания борьбы с предвзятостью на практике является то, что категории, такие как демографические данные лиц, защищенных антидискриминационным законодательством , часто явно не рассматриваются при сборе и обработке данных. ^[137] В некоторых случаях существует мало возможностей для явного сбора этих данных, например, при снятии отпечатков пальцев с устройств , повсеместной обработке данных и Интернете вещей . В других случаях контролер данных может не захотеть собирать такие данные по репутационным причинам или потому, что это представляет повышенную ответственность и риск безопасности. Также может быть так, что, по крайней мере в отношении Общего регламента по защите данных Европейского союза , такие данные подпадают под положения «специальной категории» (статья 9) и, следовательно, имеют больше ограничений на потенциальный сбор и обработку.

Некоторые специалисты пытались оценить и вменить эти отсутствующие чувствительные категории, чтобы обеспечить смягчение предвзятости, например, создавая системы для определения этнической принадлежности по именам, ^[138] однако это может привести к другим формам предвзятости, если не предпринимать это с осторожностью. ^[139] Исследователи машинного обучения использовали криптографические технологии повышения конфиденциальности, такие как безопасные многосторонние вычисления , чтобы предложить методы, с помощью которых алгоритмическая предвзятость может быть оценена или смягчена без того, чтобы эти данные когда-либо были доступны разработчикам моделей в открытом тексте . ^[140]

Алгоритмическое смещение не только включает защищенные категории, но также может касаться характеристик, которые сложнее наблюдать или кодифицировать, например, политических взглядов. В этих случаях редко бывает легкодоступная или непротиворечивая истина , и устранение смещения из такой системы более сложно. ^[141] Кроме того, ложные и случайные корреляции могут возникать из-за отсутствия понимания защищенных категорий, например, страховых ставок, основанных на исторических данных об автомобильных авариях, которые могут совпадать, строго по совпадению, с жилыми кластерами этнических меньшинств. ^[142]

Решения

Исследование 84 руководящих принципов политики в отношении этического ИИ показало, что справедливость и «смягчение нежелательной предвзятости» были общими проблемами, и их решали посредством сочетания технических решений, прозрачности и мониторинга, права на исправление ситуации и усиления надзора, а также усилий по обеспечению разнообразия и инклюзивности. ^[143]

Технический

Было предпринято несколько попыток создать методы и инструменты, которые могут обнаруживать и наблюдать смещения в алгоритме. Эти новые области фокусируются на инструментах, которые обычно применяются к (обучающим) данным, используемым программой, а не к внутренним процессам алгоритма. Эти методы также могут анализировать вывод программы и ее полезность и, следовательно, могут включать анализ ее матрицы путаницы (или таблицы путаницы). ^[144]^[145]^[146]^[147]^[148]^[149]^[150]^[151]^[152] Объяснимый ИИ для обнаружения алгоритма Смещение — это предлагаемый способ обнаружения наличия смещения в алгоритме или модели обучения. ^[153] Использование машинного обучения для обнаружения смещения называется «проведением аудита ИИ», где «аудитор» — это алгоритм, который просматривает модель ИИ и обучающие данные для выявления смещений. ^[154] Обеспечение того, чтобы инструмент ИИ, такой как классификатор, был свободен от предвзятости, сложнее, чем просто удаление конфиденциальной информации из его входных сигналов, поскольку это, как правило, подразумевается в других сигналах. Например, хобби, виды спорта и школы, которые посещает кандидат на работу, могут раскрыть его пол программному обеспечению, даже если это удалено из анализа. Решения этой проблемы включают обеспечение того, чтобы интеллектуальный агент не имел никакой информации, которая могла бы быть использована для реконструкции защищенной и конфиденциальной информации о субъекте, как впервые было продемонстрировано в ^[155], где сеть глубокого обучения одновременно обучалась для изучения задачи, в то же время будучи полностью агностичной относительно защищенной характеристики. Более простой метод был предложен в контексте встраивания слов и включает удаление информации, которая коррелирует с защищенной характеристикой. ^[156]

В настоящее время разрабатывается новый стандарт IEEE , который направлен на определение методологий, помогающих создателям алгоритмов устранить проблемы предвзятости и четко обозначить прозрачность (то есть для органов власти или конечных пользователей ) относительно функций и возможных эффектов их алгоритмов. Проект был одобрен в феврале 2017 года и спонсируется Комитетом по стандартам в области программного обеспечения и системной инженерии, комитетом, учрежденным IEEE Computer Society . Ожидается, что проект стандарта будет представлен на голосование в июне 2019 года. ^[157]^[158]

Прозрачность и мониторинг

Руководящие принципы этики в отношении ИИ указывают на необходимость подотчетности, рекомендуя предпринять шаги для улучшения интерпретируемости результатов. ^[159] Такие решения включают рассмотрение «права на понимание» в алгоритмах машинного обучения и противодействие развертыванию машинного обучения в ситуациях, когда решения не могут быть объяснены или пересмотрены. ^[160] С этой целью движение за « Объяснимый ИИ » уже осуществляется в таких организациях, как DARPA , по причинам, которые выходят за рамки устранения предвзятости. ^[161] Price Waterhouse Coopers , например, также предполагает, что мониторинг выходных данных означает проектирование систем таким образом, чтобы гарантировать, что отдельные компоненты системы могут быть изолированы и отключены, если они искажают результаты. ^[162]

Первоначальный подход к прозрачности включал в себя открытый исходный код алгоритмов . ^[163] Программный код может быть изучен, а улучшения могут быть предложены через средства хостинга исходного кода . Однако этот подход не обязательно дает ожидаемые результаты. Компании и организации могут обмениваться всей возможной документацией и кодом, но это не устанавливает прозрачность, если аудитория не понимает предоставленную информацию. Поэтому роль заинтересованной критической аудитории стоит изучить в отношении прозрачности. Алгоритмы не могут быть привлечены к ответственности без критической аудитории. ^[164]

Право на средство правовой защиты

С точки зрения регулирования, Торонтская декларация призывает применять рамки прав человека к вреду, причиненному алгоритмической предвзятостью. ^[165] Это включает в себя законодательное закрепление ожиданий должной осмотрительности со стороны разработчиков этих алгоритмов и создание ответственности, когда частные субъекты не защищают общественные интересы, отмечая, что такие права могут быть скрыты сложностью определения ответственности в сети сложных, переплетающихся процессов. ^[166] Другие предлагают необходимость четких механизмов страхования ответственности. ^[167]

Разнообразие и инклюзивность

На фоне опасений, что проектирование систем ИИ является в первую очередь прерогативой белых инженеров-мужчин, ^[168] ряд ученых предположили, что алгоритмическую предвзятость можно свести к минимуму за счет расширения включения в ряды тех, кто проектирует системы ИИ. ^[160]^[143] Например, только 12% инженеров машинного обучения — женщины, ^[169] при этом чернокожие лидеры ИИ указывают на «кризис разнообразия» в этой области. ^[170] Такие группы, как Black in AI и Queer in AI, пытаются создать более инклюзивные пространства в сообществе ИИ и работают против часто пагубных желаний корпораций, которые контролируют траекторию исследований ИИ. ^[171] Критика простых усилий по инклюзивности предполагает, что программы разнообразия не могут решать пересекающиеся формы неравенства, и призвали применять более преднамеренную линзу интерсекциональности при проектировании алгоритмов. ^[172]^[173]^{: 4} Исследователи из Кембриджского университета утверждают, что решению проблемы расового разнообразия препятствует «белизна» культуры ИИ. ^[174]

Междисциплинарность и сотрудничество

Интеграция междисциплинарности и сотрудничества в разработке систем ИИ может сыграть решающую роль в борьбе с алгоритмической предвзятостью. Интеграция идей, опыта и перспектив из дисциплин за пределами компьютерной науки может способствовать лучшему пониманию влияния решений, основанных на данных, на общество. Примером этого в исследованиях ИИ является PACT или Participatory Approach to enable Capabilities in CommuniTies, предлагаемая структура для содействия сотрудничеству при разработке решений, основанных на ИИ, связанных с социальным воздействием. ^[175] Эта структура определяет руководящие принципы для участия заинтересованных сторон при работе над проектами ИИ для общественного блага (AI4SG). PACT пытается подтвердить важность усилий по деколонизации и перераспределению власти при разработке решений ИИ, ориентированных на человека. Академической инициативой в этом отношении является Институт антропоцентрического искусственного интеллекта Стэнфордского университета, который направлен на содействие междисциплинарному сотрудничеству. Миссия института заключается в продвижении исследований, образования, политики и практики в области искусственного интеллекта (ИИ) для улучшения условий жизни человека. ^[176]

Сотрудничество с внешними экспертами и различными заинтересованными сторонами способствует этической, инклюзивной и ответственной разработке интеллектуальных систем. Оно включает этические соображения, понимает социальный и культурный контекст, способствует проектированию, ориентированному на человека, использует техническую экспертизу и решает политические и правовые вопросы. ^[177] Сотрудничество между дисциплинами имеет важное значение для эффективного смягчения предвзятости в системах ИИ и обеспечения того, чтобы технологии ИИ были справедливыми, прозрачными и ответственными.

Регулирование

Европа

Общий регламент по защите данных (GDPR), пересмотренный режим защиты данных Европейского союза , который был внедрен в 2018 году, рассматривает «автоматизированное принятие индивидуальных решений, включая профилирование » в статье 22. Эти правила запрещают «исключительно» автоматизированные решения, которые имеют «значительное» или «юридическое» влияние на человека, если только они явно не разрешены согласием, договором или законодательством государства-члена . Там, где они разрешены, должны быть предусмотрены гарантии, такие как право на участие человека в процессе и необязательное право на объяснение принятых решений. Хотя эти правила обычно считаются новыми, почти идентичные положения существуют по всей Европе с 1995 года в статье 15 Директивы о защите данных . Первоначальные правила и гарантии автоматизированного принятия решений встречаются во французском законодательстве с конца 1970-х годов. ^[178]

GDPR рассматривает алгоритмическую предвзятость в системах профилирования, а также возможные статистические подходы к ее устранению, непосредственно в пункте 71 ^[179] , отмечая, что

Контролер должен использовать соответствующие математические или статистические процедуры для профилирования, применять технические и организационные меры, соответствующие ..., которые предотвращают, в частности, дискриминационные последствия для физических лиц по признаку расового или этнического происхождения, политических взглядов, религии или убеждений, членства в профсоюзе, генетического или медицинского состояния или сексуальной ориентации, или которые приводят к мерам, имеющим такой эффект.

Как и необязательное право на объяснение в пункте 71, проблема заключается в необязательном характере пунктов . ^[180] Хотя это рассматривалось как требование Рабочей группой по статье 29 , которая консультировала по внедрению закона о защите данных, ^[179] его практические аспекты неясны. Утверждалось, что оценки воздействия на защиту данных для профилирования данных с высоким риском (наряду с другими упреждающими мерами в рамках защиты данных) могут быть лучшим способом решения проблем алгоритмической дискриминации, поскольку они ограничивают действия тех, кто внедряет алгоритмы, а не требуют от потребителей подавать жалобы или запрашивать изменения. ^[181]

Соединенные Штаты

В Соединенных Штатах нет общего законодательства, контролирующего алгоритмическую предвзятость, и проблема решается посредством различных государственных и федеральных законов, которые могут различаться в зависимости от отрасли, сектора и способа использования алгоритма. ^[182] Многие политики реализуются самостоятельно или контролируются Федеральной торговой комиссией . ^[182] В 2016 году администрация Обамы опубликовала Национальный стратегический план исследований и разработок в области искусственного интеллекта, ^[183] который был призван направить политиков к критической оценке алгоритмов. В нем исследователям рекомендовалось «спроектировать эти системы таким образом, чтобы их действия и принятие решений были прозрачными и легко интерпретируемыми людьми, и, таким образом, могли быть проверены на предмет любой предвзятости, которую они могут содержать, а не просто изучать и повторять эти предвзятости». Отчет, предназначенный только в качестве руководства, не создал никаких юридических прецедентов. ^[184]^{: 26}

В 2017 году в Нью-Йорке был принят первый в США законопроект об алгоритмической ответственности . ^[185] Законопроект, вступивший в силу 1 января 2018 года, требовал «создания целевой группы, которая будет предоставлять рекомендации о том, как информация об автоматизированных системах принятия решений агентства может быть предоставлена общественности, и как агентства могут рассматривать случаи, когда автоматизированные системы принятия решений агентства наносят вред людям». ^[186] Целевая группа должна представить выводы и рекомендации для дальнейших регулирующих действий в 2019 году. ^[187]

Индия

31 июля 2018 года был представлен проект Закона о персональных данных. ^[188] В проекте предлагаются стандарты хранения, обработки и передачи данных. Хотя в нем не используется термин «алгоритм», в нем предусмотрены положения о «вреде, возникающем в результате любой обработки или любого вида обработки, осуществляемой фидуциаром». Он определяет «любой отказ или отзыв услуги, выгоды или товара в результате оценочного решения о принципале данных» или «любое дискриминационное обращение» как источник вреда, который может возникнуть в результате ненадлежащего использования данных. Он также вносит особые положения для людей со «статусом интерсексуала». ^[189]

Смотрите также

Ссылки

^ Якоби, Дженнифер (13 сентября 2001 г.). "Патент № US2001021914". Espacenet . Получено 4 июля 2018 г. .
^ Марабелли, Марко (2024). ИИ, этика и дискриминация в бизнесе. Исследования Пэлгрейва по вопросам равенства, разнообразия, инклюзивности и индигенизации в бизнесе. Springer. doi : 10.1007/978-3-031-53919-0. ISBN 978-3-031-53918-3.
^ Суреш, Харини; Гуттаг, Джон (4 ноября 2021 г.). «Структура для понимания источников вреда на протяжении жизненного цикла машинного обучения». Равенство и доступ в алгоритмах, механизмах и оптимизации . EAAMO '21. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 1–9. doi : 10.1145/3465416.3483305. ISBN 978-1-4503-8553-4. S2CID 235436386.
^ Стрипхас, Тед (февраль 2012 г.). «Что такое алгоритм? – Цифровая культура». culturedigitally.org . Получено 20 ноября 2017 г. .
^ Кормен, Томас Х.; Лейзерсон, Чарльз Э.; Ривест, Рональд Л.; Штейн, Клиффорд (2009). Введение в алгоритмы (3-е изд.). Кембридж, Массачусетс: MIT Press. п. 5. ISBN 978-0-262-03384-8.
^ abc Китчин, Роб (25 февраля 2016 г.). «Критическое мышление и исследование алгоритмов» (PDF) . Информация, коммуникация и общество . 20 (1): 14–29. doi :10.1080/1369118X.2016.1154087. S2CID 13798875.
^ "Как работает поиск Google" . Получено 19 ноября 2017 г.
^ Лакерсон, Виктор. «Вот как на самом деле работает ваша лента новостей Facebook». Time . Получено 19 ноября 2017 г.
↑ Вандербильт, Том (7 августа 2013 г.). «Наука, лежащая в основе алгоритмов Netflix, которые решают, что вы будете смотреть дальше». Wired . Получено 19 ноября 2017 г.
^ Angwin, Julia ; Mattu, Surya (20 сентября 2016 г.). «Amazon заявляет, что ставит клиентов на первое место. Но ее алгоритм ценообразования этого не делает — ProPublica». ProPublica . Получено 19 ноября 2017 г.
^ Ливингстон, Роб (13 марта 2017 г.). «Будущее интернет-рекламы — это большие данные и алгоритмы». The Conversation . Получено 19 ноября 2017 г. .
^ Хикман, Лео (1 июля 2013 г.). «Как алгоритмы правят миром». The Guardian . Получено 19 ноября 2017 г. .
^ abcdef Сивер, Ник. «Знание алгоритмов» (PDF) . Media in Transition 8, Кембридж, Массачусетс, апрель 2013 г. Архивировано из оригинала (PDF) 1 декабря 2017 г. Получено 18 ноября 2017 г.
^ abc Graham, Stephen DN (июль 2016 г.). «Software-sorted geographies» (PDF) . Progress in Human Geography (Представленная рукопись). 29 (5): 562–580. doi :10.1191/0309132505ph568oa. S2CID 19119278.
^ abc Tewell, Eamon (4 апреля 2016 г.). «К резистентному чтению информации: Google, резистентное наблюдение и критическая информационная грамотность». Портал: Библиотеки и академия . 16 (2): 289–310. doi :10.1353/pla.2016.0017. ISSN 1530-7131. S2CID 55749077. Получено 19 ноября 2017 г.
^ Кроуфорд, Кейт (1 апреля 2013 г.). «Скрытые предубеждения в больших данных». Harvard Business Review .
^ abcdefghijklmnopq Фридман, Батья; Ниссенбаум, Хелен (июль 1996 г.). «Предвзятость в компьютерных системах» (PDF) . ACM Transactions on Information Systems . 14 (3): 330–347. doi :10.1145/230538.230561. S2CID 207195759 . Получено 10 марта 2019 г. .
^ abcdef Gillespie, Tarleton; Boczkowski, Pablo; Foot, Kristin (2014). Медиатехнологии . Кембридж: MIT Press. стр. 1–30. ISBN 9780262525374.
^ ab Диакопулос, Николас. «Алгоритмическая подотчётность: о расследовании чёрных ящиков |». towcenter.org . Получено 19 ноября 2017 г. .
^ Липартито, Кеннет (6 января 2011 г.). Повествование и алгоритм: жанры кредитной отчетности с девятнадцатого века до наших дней (PDF) (Представленная рукопись). doi : 10.2139/SSRN.1736283. S2CID 166742927. SSRN 1736283.
^ ab Goodman, Bryce; Flaxman, Seth (2017). «Регламент ЕС по алгоритмическому принятию решений и «право на объяснение»". Журнал AI . 38 (3): 50. arXiv : 1606.08813 . doi : 10.1609/aimag.v38i3.2741. S2CID 7373959.
^ abcdefg Вайценбаум, Джозеф (1976). Мощность компьютеров и человеческий разум: от суждения к расчету . Сан-Франциско: WH Freeman. ISBN 978-0-7167-0464-5.
^ ab Goffrey, Andrew (2008). «Алгоритм». В Fuller, Matthew (ред.). Software Studies: A Lexicon . Кембридж, Массачусетс: MIT Press. стр. 15–20. ISBN 978-1-4356-4787-9.
^ Lowry, Stella; Macpherson, Gordon (5 марта 1988 г.). «Пятно на профессии». British Medical Journal . 296 (6623): 657–8. doi :10.1136/bmj.296.6623.657. PMC 2545288. PMID 3128356. Получено 17 ноября 2017 г.
^ Миллер, Алекс П. (26 июля 2018 г.). «Хотите менее предвзятых решений? Используйте алгоритмы». Harvard Business Review . Получено 31 июля 2018 г. .
^ abc Introna, Lucas D. (2 декабря 2011 г.). «Обрамление кода». Теория, культура и общество . 28 (6): 113–141. doi :10.1177/0263276411418131. S2CID 145190381.
^ Богост, Ян (15 января 2015 г.). «Собор вычислений». The Atlantic . Получено 19 ноября 2017 г. .
^ abcdefg Introna, Lucas; Wood, David (2004). «Изображая алгоритмическое наблюдение: политика систем распознавания лиц». Наблюдение и общество . 2 : 177–198 . Получено 19 ноября 2017 г.
^ abcd Introna, Lucas D. (21 декабря 2006 г.). «Поддержание обратимости складок: Делаем этику (политику) информационных технологий видимой». Этика и информационные технологии . 9 (1): 11–25. CiteSeerX 10.1.1.154.1313 . doi :10.1007/s10676-006-9133-z. S2CID 17355392.
^ ab Ширки, Клей. "Спекулятивный пост об идее алгоритмического авторитета Клей Ширки". www.shirky.com . Архивировано из оригинала 15 марта 2012 г. . Получено 20 ноября 2017 г. .
^ ab Ziewitz, Malte (1 января 2016 г.). «Управляющие алгоритмы: миф, беспорядок и методы». Наука, технологии и человеческие ценности . 41 (1): 3–16. doi : 10.1177/0162243915608948 . ISSN 0162-2439. S2CID 148023125.
↑ Лэш, Скотт (30 июня 2016 г.). «Власть после гегемонии». Теория, культура и общество . 24 (3): 55–78. doi :10.1177/0263276407075956. S2CID 145639801.
^ ab Garcia, Megan (1 января 2016 г.). «Расист в машине». World Policy Journal . 33 (4): 111–117. doi :10.1215/07402775-3813015. S2CID 151595343.
^ "ACM FAccT 2021 Registration". fatconference.org . Получено 14 ноября 2021 г. .
^ Очигаме, Родриго (20 декабря 2019 г.). «Изобретение «этического ИИ»: как крупные технологические компании манипулируют академическим сообществом, чтобы избежать регулирования». The Intercept . Получено 11 февраля 2020 г.
^ Sergot, MJ; Sadri, F; Kowalski, RA; Kriwaczek, F; Hammond, P; Cory, HT (май 1986). «Закон о британском гражданстве как логическая программа» (PDF) . Communications of the ACM . 29 (5): 370–386. doi :10.1145/5689.5920. S2CID 5665107. Получено 18 ноября 2017 г.
^ ab «Чтобы остановить алгоритмическую предвзятость, мы сначала должны ее определить». Brookings . Получено 27 июня 2023 г. .
^ Эванс, Мелани; Мэтьюз, Анна Уайлд (24 октября 2019 г.). «Исследователи обнаружили расовую предвзятость в алгоритме больницы». Wall Street Journal . ISSN 0099-9660 . Получено 27 июня 2023 г.
^ abc Luo, Queenie; Puett, Michael J.; Smith, Michael D. (23 мая 2023 г.), Перспективное зеркало слона: исследование языковых предубеждений в Google, ChatGPT, Wikipedia и YouTube , arXiv : 2303.16281
^ Баскер, Тони; Чоенни, Сунил; Шоае Барг, Мортаза (20 ноября 2023 г.). «Стереотипы в ChatGPT: эмпирическое исследование». Труды 16-й Международной конференции по теории и практике электронного управления . ICEGOV '23. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 24–32. doi :10.1145/3614321.3614325. ISBN 979-8-4007-0742-1.
^ Котек, Хадас; Докум, Риккер; Сан, Дэвид (5 ноября 2023 г.). «Гендерные предубеждения и стереотипы в больших языковых моделях». Труды конференции ACM Collective Intelligence . CI '23. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 12–24. doi : 10.1145/3582269.3615599. ISBN 979-8-4007-0113-9.
^ Ченг, Майра; Дурмус, Эсин; Джурафски, Дэн (29 мая 2023 г.), Отмеченные персоны: использование подсказок естественного языка для измерения стереотипов в языковых моделях , arXiv : 2305.18189
^ Фридриксдоттир, Штайнунн Рут; Эйнарссон, Хафштайнн (2024), «Гендерная грамматика или укоренившаяся предвзятость? Исследование гендерной предвзятости в моделях исландского языка», Lrec-Coling 2024 : 7596–7610
^ Фэн, Шанбин; Пак, Чан Янг; Лю, Юхан; Цветков, Юлия (июль 2023 г.). Роджерс, Анна; Бойд-Грейбер, Джордан; Окадзаки, Наоаки (ред.). «От данных предварительной подготовки к языковым моделям к задачам нисходящего потока: отслеживание следов политических предубеждений, ведущих к несправедливым моделям НЛП». Труды 61-го ежегодного собрания Ассоциации компьютерной лингвистики (том 1: длинные статьи) . Торонто, Канада: Ассоциация компьютерной лингвистики: 11737–11762. arXiv : 2305.08283 . doi : 10.18653/v1/2023.acl-long.656 .
^ Gillespie, Tarleton (25 июня 2014 г.). «Алгоритм [черновик] [#digitalkeywords] – Culture Digitally». culturedigitally.org . Получено 20 ноября 2017 г. .
^ Roth, AE 1524–1528. (14 декабря 1990 г.). «Новые врачи: естественный эксперимент в организации рынка». Science . 250 (4987): 1524–1528. Bibcode :1990Sci...250.1524R. doi :10.1126/science.2274783. PMID 2274783. S2CID 23259274 . Получено 18 ноября 2017 г. .{{cite journal}}: CS1 maint: numeric names: authors list (link)
^ Куанг, Клифф (21 ноября 2017 г.). «Можно ли научить ИИ объяснять себя?». The New York Times Magazine . Получено 26 ноября 2017 г.
^ ab Jouvenal, Justin (17 ноября 2016 г.). «Полиция использует программное обеспечение для прогнозирования преступлений. Это «святой Грааль» или предвзятость по отношению к меньшинствам?». Washington Post . Получено 25 ноября 2017 г.
^ ab Chamma, Maurice (3 февраля 2016 г.). «Полицейское управление будущим». Проект Маршалла . Получено 25 ноября 2017 г.
^ Лум, Кристиан; Айзек, Уильям (октябрь 2016 г.). «Предсказывать и служить?». Значимость . 13 (5): 14–19. doi : 10.1111/j.1740-9713.2016.00960.x .
^ Смит, Джек (9 октября 2016 г.). «Прогностическая деятельность полиции только усиливает расовую предвзятость, показывают исследования». Mic . Получено 25 ноября 2017 г.
^ Lum, Kristian; Isaac, William (1 октября 2016 г.). «FAQs on Predictive Policing and Bias» (Часто задаваемые вопросы о предиктивной полиции и предвзятости). HRDAG . Получено 25 ноября 2017 г.
^ Сан, Вэньлун; Насрауи, Олфа; Шафто, Патрик (2018). «Итеративное алгоритмическое смещение в интерактивном процессе машинного обучения фильтрации информации». Труды 10-й Международной совместной конференции по обнаружению знаний, инженерии знаний и управлению знаниями . Севилья, Испания: SCITEPRESS — Science and Technology Publications. стр. 110–118. doi : 10.5220/0006938301100118 . ISBN 9789897583308.
^ Синха, Аян; Глейх, Дэвид Ф.; Рамани, Картик (9 августа 2018 г.). «Закон Гаусса для сетей напрямую выявляет границы сообществ». Scientific Reports . 8 (1): 11909. Bibcode :2018NatSR...811909S. doi :10.1038/s41598-018-30401-0. ISSN 2045-2322. PMC 6085300 . PMID 30093660.
^ Хао, Карен (февраль 2018 г.). «Google наконец-то признал, что у него проблема с пузырём фильтров». Quartz . Получено 26 февраля 2019 г. .
^ «Facebook тестирует эту новую функцию для борьбы с «пузырями фильтров». Fortune . Получено 26 февраля 2019 г.
^ ab Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie ; Langbort, Cedric (22 мая 2014 г.). «Алгоритмы аудита: методы исследования для обнаружения дискриминации на интернет-платформах» (PDF) . 64-я ежегодная встреча Международной ассоциации коммуникаций . Получено 18 ноября 2017 г.
^ Брин, Сергей; Пейдж, Лоуренс. «Анатомия поисковой системы». www7.scu.edu.au . Архивировано из оригинала 2 июля 2019 г. . Получено 18 ноября 2017 г. .
^ Эпштейн, Роберт; Робертсон, Рональд Э. (18 августа 2015 г.). «Эффект манипуляции поисковой системой (SEME) и его возможное влияние на результаты выборов». Труды Национальной академии наук . 112 (33): E4512–E4521. Bibcode : 2015PNAS..112E4512E. doi : 10.1073/pnas.1419828112 . PMC 4547273. PMID 26243876 .
^ Бонд, Роберт М.; Фэрисс, Кристофер Дж.; Джонс, Джейсон Дж.; Крамер, Адам ДИ; Марлоу, Кэмерон; Сеттл, Джейми Э.; Фаулер, Джеймс Х. (13 сентября 2012 г.). «Эксперимент с участием 61 миллиона человек по социальному влиянию и политической мобилизации». Nature . 489 (7415): 295–8. Bibcode :2012Natur.489..295B. doi :10.1038/nature11421. ISSN 0028-0836. PMC 3834737 . PMID 22972300.
^ Зиттрейн, Джонатан (2014). «Инженерия выборов» (PDF) . Форум Harvard Law Review . 127 : 335–341. Архивировано из оригинала (PDF) 4 марта 2021 г. . Получено 19 ноября 2017 г. .
↑ Дэй, Мэтт (31 августа 2016 г.). «Как поисковая система LinkedIn может отражать гендерную предвзятость». The Seattle Times . Получено 25 ноября 2017 г.
^ ab Кроуфорд, Кейт; Шульц, Джейсон (2014). «Большие данные и надлежащая правовая процедура: на пути к структуре для устранения прогнозируемого вреда конфиденциальности». Boston College Law Review . 55 (1): 93–128 . Получено 18 ноября 2017 г.
^ Дахигг, Чарльз (16 февраля 2012 г.). «Как компании узнают ваши секреты». The New York Times Magazine . Получено 18 ноября 2017 г.
^ Нобл, Сафия (2012). «Пропущенные связи: что поисковые системы говорят о женщинах» (PDF) . Bitch . 12 (4): 37–41.
^ Guynn, Jessica (16 марта 2017 г.). «Google начинает отмечать оскорбительный контент в результатах поиска». USA TODAY . USA Today . Получено 19 ноября 2017 г. .
^ Simonite, Tom. «Исследование предполагает, что система таргетинга рекламы Google может быть дискриминационной». MIT Technology Review . Massachusetts Institute of Technology . Получено 17 ноября 2017 г.
^ Пратес, Марсело OR; Авелар, Педро HC; Лэмб, Луис (2018). «Оценка гендерной предвзятости в машинном переводе — исследование случая с Google Translate». arXiv : 1809.02208 [cs.CY].
^ Пратес, Марсело О.Р.; Авелар, Педро Х.; Лэмб, Луис К. (2019). «Оценка гендерной предвзятости в машинном переводе: исследование случая с Google Translate». Нейронные вычисления и приложения . 32 (10): 6363–6381. arXiv : 1809.02208 . doi : 10.1007/s00521-019-04144-6. S2CID 52179151.
^ Claburn, Thomas (10 сентября 2018 г.). «Ученые критикуют Google Translate за сексизм». The Register . Получено 28 апреля 2022 г.
^ Дастин, Джеффри (9 октября 2018 г.). «Amazon отказывается от секретного инструмента рекрутинга на основе ИИ, который демонстрировал предвзятость по отношению к женщинам». Reuters .
^ Винсент, Джеймс (10 октября 2018 г.). «Amazon, как сообщается, отказывается от внутреннего инструмента рекрутинга на основе ИИ, который был предвзят по отношению к женщинам». The Verge .
^ «Размышления о системе рекомендаций Spotify – SongData». Октябрь 2019 г. Получено 7 августа 2020 г.
^ Buolamwini, Joy; Gebru, Timnit (21 января 2018 г.). «Оттенки пола: различия в межсекционной точности в коммерческой гендерной классификации». Труды исследований машинного обучения . 81 (2018): 77–91 . Получено 27 сентября 2020 г.
^ Нобл, Сафия Умоджа (20 февраля 2018 г.). Алгоритмы угнетения: как поисковые системы усиливают расизм . Нью-Йорк: NYU Press. ISBN 978-1479837243.
^ ab Nakamura, Lisa (2009). Magnet, Shoshana; Gates, Kelly (ред.). Новые медиа наблюдения . Лондон: Routledge. С. 149–162. ISBN 978-0-415-56812-8.
^ Марко Марабелли; Сью Ньюэлл; Валери Ханданж (2021). «Жизненный цикл алгоритмических систем принятия решений: организационный выбор и этические проблемы». Журнал стратегических информационных систем . 30 (3): 1–15. doi :10.1016/j.jsis.2021.101683.
^ Александр, Рудольф; Гьямера, Жаклин (сентябрь 1997 г.). «Дифференциальное наказание афроамериканцев и белых, хранящих наркотики: справедливая политика или продолжение прошлого?». Журнал исследований чернокожих . 28 (1): 97–111. doi :10.1177/002193479702800106. ISSN 0021-9347. S2CID 152043501.
^ Петерсилия, Джоан (январь 1985 г.). «Расовые различия в системе уголовного правосудия: резюме». Преступность и правонарушения . 31 (1): 15–34. doi :10.1177/0011128785031001002. ISSN 0011-1287. S2CID 146588630.
^ ab Guynn, Jessica (1 июля 2015 г.). «Google Photos пометили черных людей как «горилл». USA TODAY . USA Today . Получено 18 ноября 2017 г. .
↑ Роуз, Адам (22 января 2010 г.). «Являются ли камеры с функцией распознавания лиц расистскими?». Time . Получено 18 ноября 2017 г.
^ «Alexa не понимает ваш акцент». Washington Post .
^ Суини, Латанья (28 января 2013 г.). «Дискриминация при доставке онлайн-рекламы». arXiv : 1301.6822 [cs.IR].
^ Браун, Ланди (2015). «Раса, этническая принадлежность и функция легких: краткая история». Канадский журнал респираторной терапии . 51 (4): 99–101. ISSN 1205-9838. PMC 4631137. PMID 26566381 .
^ Робинсон, Уитни Р.; Ренсон, Одри; Наими, Эшли И. (1 апреля 2020 г.). «Изучение структурного расизма улучшит ваше машинное обучение». Биостатистика . 21 (2): 339–344. doi : 10.1093/biostatistics/kxz040 . ISSN 1465-4644. PMC 7868043. PMID 31742353 .
^ Джонсон, Кэролин И. (24 октября 2019 г.). «Расовая предвзятость в медицинском алгоритме благоприятствует белым пациентам по сравнению с более больными черными пациентами». Washington Post . Получено 28 октября 2019 г.
^ Бартлетт, Роберт; Морс, Адэр; Стэнтон, Ричард; Уоллес, Нэнси (июнь 2019 г.). «Дискриминация потребительского кредитования в эпоху финтеха». Рабочий документ NBER № 25943. Серия рабочих документов. doi : 10.3386/w25943. S2CID 242410791.
^ Джефф Ларсон, Джулия Энгвин (23 мая 2016 г.). «Как мы проанализировали алгоритм рецидивизма COMPAS». ProPublica . Архивировано из оригинала 29 апреля 2019 г. Получено 19 июня 2020 г.
^ «Комментарий: Плохие новости. Искусственный интеллект предвзят». CNA . 12 января 2019 г. Архивировано из оригинала 12 января 2019 г. Получено 19 июня 2020 г.
^ ab Angwin, Julia; Larson, Jeff; Mattu, Surya; Kirchner, Lauren (23 мая 2016 г.). "Machine Bias — ProPublica". ProPublica . Получено 18 ноября 2017 г. .
^ Харкорт, Бернард (16 сентября 2010 г.). «Риск как представитель расы». Federal Sentencing Reporter . 27 (4): 237. doi :10.1525/fsr.2015.27.4.237. S2CID 53611813. SSRN 1677654.
^ Ским Дж., Ловенкамп К., Риск, раса и рецидивизм: предиктивная предвзятость и разрозненное воздействие, (14 июня 2016 г.). SSRN 2687339
^ Томас, К.; Нуньес, А. (2022). «Автоматизация судебного усмотрения: как алгоритмические оценки рисков в досудебных решениях нарушают равные права на защиту по признаку расы». Закон и неравенство . 40 (2): 371–407. doi : 10.24926/25730037.649 .
^ ab Angwin, Julia; Grassegger, Hannes (28 июня 2017 г.). «Секретные правила цензуры Facebook защищают белых мужчин от разжигания ненависти, но не черных детей — ProPublica». ProPublica . Получено 20 ноября 2017 г. .
^ Angwin, Julia; Varner, Madeleine; Tobin, Ariana (14 сентября 2017 г.). «Facebook позволил рекламодателям охватить «ненавистников евреев» — ProPublica». ProPublica . Получено 20 ноября 2017 г. .
^ Сап, Маартен; Кард, Даллас; Габриэль, Саадия; Чой, Йеджин; Смит, Ноа А. (28 июля – 2 августа 2019 г.). «Риск расовой предвзятости при обнаружении языка вражды» (PDF) . Труды 57-го ежегодного собрания Ассоциации компьютерной лингвистики . Флоренция, Италия: Ассоциация компьютерной лингвистики. стр. 1668–1678. Архивировано (PDF) из оригинала 14 августа 2019 г.
^ Ghaffary, Shirin (15 августа 2019 г.). «Алгоритмы, которые обнаруживают разжигание ненависти в Интернете, предвзяты по отношению к чернокожим». Vox . Получено 19 февраля 2020 г. .
^ Furl, N (декабрь 2002 г.). «Алгоритмы распознавания лиц и эффект другой расы: вычислительные механизмы для гипотезы контакта в процессе развития». Cognitive Science . 26 (6): 797–815. doi : 10.1207/s15516709cog2606_4 .
^ Раджи, Иниолува Дебора; Гебру, Тимнит; Митчелл, Маргарет; Буоламвини, Джой; Ли, Джунсок; Дентон, Эмили (7 февраля 2020 г.). «Спасение лица». Труды конференции AAAI/ACM по искусственному интеллекту, этике и обществу . Ассоциация вычислительной техники. стр. 145–151. arXiv : 2001.00964 . doi :10.1145/3375627.3375820. ISBN 9781450371100. S2CID 209862419.
^ «Распознавание лиц является точным, если вы белый парень». The New York Times . 9 февраля 2018 г. Получено 24 августа 2023 г.
^ Буоламвини, Джой; Гебру, Тимнит (2018). «Оттенки пола: различия в точности пересечений в коммерческой гендерной классификации» (PDF) . Труды исследований машинного обучения . 81 : 1 – через MLR Press.
↑ Ananny, Mike (14 апреля 2011 г.). «Любопытная связь между приложениями для геев и сексуальных преступников». The Atlantic . Получено 18 ноября 2017 г.
^ Кафка, Питер. «Amazon действительно потерпел неудачу в эти выходные? Twittersphere говорит «да», интернет-магазин говорит «сбой». AllThingsD . Получено 22 ноября 2017 г.
^ Кафка, Питер. «Amazon извиняется за «неуклюжую ошибку каталогизации»». AllThingsD . Получено 22 ноября 2017 г. .
^ Мацакис, Луиза (22 февраля 2019 г.). «Ошибка поиска «сексист» говорит о нас больше, чем Facebook». Wired . ISSN 1059-1028 . Получено 26 февраля 2019 г. .
^ «Некоторые ИИ просто не должны существовать». 19 апреля 2019 г.
^ Сэмюэл, Сигал (19 апреля 2019 г.). «Некоторые виды ИИ просто не должны существовать». Vox . Получено 12 декабря 2019 г. .
^ Ван, Илун; Косински, Михал (15 февраля 2017 г.). «Глубокие нейронные сети точнее людей определяют сексуальную ориентацию по изображениям лиц». OSF . doi :10.17605/OSF.IO/ZN79K.
^ Левин, Сэм (9 сентября 2017 г.). «ЛГБТ-группы осуждают «опасный» ИИ, который использует ваше лицо для определения сексуальной ориентации». The Guardian . ISSN 0261-3077 . Получено 12 декабря 2019 г. .
^ Pal, GC (16 сентября 2011 г.). «Инвалидность, интерсекциональность и лишения: исключенная повестка дня». Психология и развивающиеся общества . 23(2), 159–176. doi :10.1177/097133361102300202. S2CID 147322669 – через Sagepub.
^ Бринкман, Аврора Х.; Ри-Сандин, Джанна; Ланд, Эмили М.; Фицпатрик, Оливия М.; Гусман, Микаэла С.; Бонесс, Кассандра Л.; Ученые за повышение справедливости и разнообразия (SEED) (20 октября 2022 г.). «Изменение дискурса об инвалидности: переход к инклюзивному, интерсекциональному фокусу». Американский журнал ортопсихиатрии . 93 (1): 50–62. doi : 10.1037/ort0000653. ISSN 1939-0025. PMC 9951269. PMID 36265035 .
^ Уиттакер, Мередит (ноябрь 2019 г.). «Инвалидность, предвзятость и искусственный интеллект» (PDF) . Архивировано из оригинала (PDF) 27 марта 2023 г. . Получено 2 декабря 2022 г. .
^ "Миссия — Инвалидность — это Разнообразие — Дорогая индустрия развлечений, НЕТ РАЗНООБРАЗИЯ, РАВЕНСТВА И ИНКЛЮЗИИ БЕЗ ИНВАЛИДНОСТИ". Инвалидность — это Разнообразие . Получено 2 декабря 2022 г.
^ "Microsoft Design". www.microsoft.com . Получено 2 декабря 2022 г. .
^ Пулранг, Эндрю. «4 способа понять разнообразие сообщества людей с ограниченными возможностями». Forbes . Получено 2 декабря 2022 г.
^ Watermeyer, Brian; Swartz, Leslie (12 октября 2022 г.). «Инвалидность и проблема ленивой интерсекциональности». Инвалидность и общество . 38 (2): 362–366. doi :10.1080/09687599.2022.2130177. ISSN 0968-7599. S2CID 252959399.
^ "Disability Data Report 2021". Disability Data Initiative . Получено 2 декабря 2022 г.
^ Уайт, Джейсон Дж. Г. (2 марта 2020 г.). «Справедливость ИИ для людей с ограниченными возможностями: анализ проблем и междисциплинарное сотрудничество». ACM SIGACCESS Accessibility and Computing (125): 3:1. doi : 10.1145/3386296.3386299. ISSN 1558-2337. S2CID 211723415.
^ «Исследование показало, что языковые модели ИИ демонстрируют предвзятость по отношению к людям с ограниченными возможностями | Университет штата Пенсильвания». www.psu.edu . Получено 2 декабря 2022 г. .
^ Гивенс, Александра Рив (6 февраля 2020 г.). «Как алгоритмическая предвзятость вредит людям с ограниченными возможностями». Журнал Slate . Получено 2 декабря 2022 г.
^ Моррис, Мередит Рингель (22 мая 2020 г.). «ИИ и доступность». Сообщения ACM . 63 (6): 35–37. arXiv : 1908.08939 . doi : 10.1145/3356727. ISSN 0001-0782. S2CID 201645229.
^ Нобл, Сафия Умоджа (20 февраля 2018 г.). Алгоритмы угнетения: как поисковые системы усиливают расизм . Нью-Йорк. ISBN 9781479837243. OCLC 987591529.{{cite book}}: CS1 maint: location missing publisher (link)
^ Кастельново, Алессандро; Инверарди, Николь; Нанино, Габриэле; Пенко, Илария; Реголи, Даниэле (2023). «Достаточно справедливо? Карта текущих ограничений требований к «справедливым» алгоритмам». arXiv : 2311.12435 [cs.AI].
^ Руджиери, Сальваторе; Альварес, Хосе М; Пуньяна, Андреа; Турини, Франко (2023). «Можем ли мы доверять честному ИИ?». Труды конференции AAAI по искусственному интеллекту . 37 (13): 5421–15430. doi : 10.1609/aaai.v37i13.26798 . hdl : 11384/136444 . S2CID 259678387.
↑ Сэмюэл, Сигал (19 апреля 2022 г.). «Почему так чертовски сложно сделать ИИ справедливым и беспристрастным». Vox . Получено 23 июля 2024 г.
^ Фиоретто, Фердинандо (19 марта 2024 г.). «Внедрение справедливости в ИИ имеет решающее значение — и его трудно сделать правильно». The Conversation . Получено 23 июля 2024 г.
^ Фридлер, Сорель А.; Шайдеггер, Карлос; Венкатасубраманиан, Суреш (2016). «О (не) возможности справедливости». arXiv : 1609.07236 [cs.CY].
^ Ху, Лили; Чэнь, Илин (2018). «Влияние справедливой классификации на благосостояние и распределение». arXiv : 1807.01134 [cs.LG].
^ Дворк, Синтия; Хардт, Мориц; Питасси, Тонианн; Рейнгольд, Омер; Земель, Рич (28 ноября 2011 г.). «Справедливость через осознанность». arXiv : 1104.3913 [cs.CC].
^ abc Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014). Gangadharan, Seeta Pena; Eubanks, Virginia; Barocas, Solon (ред.). "Аудит алгоритма" (PDF) . Данные и дискриминация: Сборник эссе .
^ ЛаФранс, Адриенна (18 сентября 2015 г.). «Алгоритмы, управляющие Интернетом, становятся все более загадочными». The Atlantic . Получено 19 ноября 2017 г.
^ Бруно Латур (1999). Надежда Пандоры: Очерки о реальности научных исследований . Кембридж, Массачусетс : Издательство Гарвардского университета .
^ Кубичко, Себастьян; Каун, Энн (2016). Инновационные методы в исследованиях СМИ и коммуникаций. Springer. ISBN 978-3-319-40700-5. Получено 19 ноября 2017 г. .
^ Макги, Мэтт (16 августа 2013 г.). «EdgeRank мертв: алгоритм новостной ленты Facebook теперь имеет около 100 тыс. весовых коэффициентов». Marketing Land . Получено 18 ноября 2017 г.
^ abc Granka, Laura A. (27 сентября 2010 г.). «Политика поиска: ретроспектива десятилетия» (PDF) . Информационное общество . 26 (5): 364–374. doi :10.1080/01972243.2010.511560. S2CID 16306443 . Получено 18 ноября 2017 г. .
^ Szymielewicz, Katarzyna (20 января 2020 г.). "Политика в черном ящике". Medium . Получено 11 февраля 2020 г. .
^ Вил, Майкл; Биннс, Рубен (2017). «Более справедливое машинное обучение в реальном мире: смягчение дискриминации без сбора конфиденциальных данных». Большие данные и общество . 4 (2): 205395171774353. doi : 10.1177/2053951717743530 . SSRN 3060763.
^ Эллиотт, Марк Н.; Моррисон, Питер А.; Фремонт, Аллен; Маккаффри, Дэниел Ф.; Пантоха, Филипп; Лури, Николь (июнь 2009 г.). «Использование списка фамилий Бюро переписи населения для улучшения оценок расы/этнической принадлежности и связанных с ними различий». Методология исследований медицинских услуг и результатов . 9 (2): 69–83. doi :10.1007/s10742-009-0047-1. ISSN 1387-3741. S2CID 43293144.
^ Чэнь, Цзяхао; Каллус, Натан; Мао, Сяоцзе; Свача, Джеффри; Уделл, Мадлен (2019). «Справедливость в условиях неосведомленности». Труды конференции по справедливости, подотчетности и прозрачности . Атланта, Джорджия, США: ACM Press. стр. 339–348. arXiv : 1811.11154 . doi : 10.1145/3287560.3287594. ISBN 9781450361255. S2CID 58006233.
^ Kilbertus, Niki; Gascon, Adria; Kusner, Matt; Veale, Michael; Gummadi, Krishna; Weller, Adrian (2018). «Слепое правосудие: справедливость с зашифрованными чувствительными атрибутами». Международная конференция по машинному обучению : 2630–2639. arXiv : 1806.03281 . Bibcode : 2018arXiv180603281K.
^ Binns, Reuben; Veale, Michael; Kleek, Max Van; Shadbolt, Nigel (13 сентября 2017 г.). «Как тренер, как бот? Наследование предвзятости в алгоритмической модерации контента». Социальная информатика . Конспект лекций по информатике. Том 10540. С. 405–415. arXiv : 1707.01477 . doi :10.1007/978-3-319-67256-4_32. ISBN 978-3-319-67255-7. S2CID 2814848.
^ Claburn, Thomas (18 июля 2016 г.). «Закон ЕС о защите данных может положить конец непознаваемому алгоритму – InformationWeek». InformationWeek . Получено 25 ноября 2017 г. .
^ аб Джобин, Анна; Иенка, Марчелло; Вайена, Эффи (2 сентября 2019 г.). «Глобальный ландшафт руководящих принципов этики ИИ». Природный машинный интеллект . 1 (9): 389–399. arXiv : 1906.11668 . дои : 10.1038/s42256-019-0088-2. S2CID 201827642.
^ https://research.google.com/bigpicture/attacking-discrimination-in-ml/ Борьба с дискриминацией с помощью более интеллектуального машинного обучения
^ Хардт, Мориц; Прайс, Эрик; Сребро, Натан (2016). «Равенство возможностей в контролируемом обучении». arXiv : 1610.02413 [cs.LG].
^ https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ Microsoft разрабатывает инструмент, который поможет инженерам выявлять предвзятость в алгоритмах
^ «Facebook заявляет, что у него есть инструмент для обнаружения предвзятости в его искусственном интеллекте». Quartz . 3 мая 2018 г. Архивировано из оригинала 5 марта 2023 г.
^ Pymetrics аудит-ai с открытым исходным кодом
^ https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp/ Pymetrics с открытым исходным кодом Audit AI, инструмент обнаружения предвзятости алгоритма
^ https://github.com/dssg/aequitas Aequitas с открытым исходным кодом: набор инструментов для аудита предвзятости и справедливости
^ https://dsapp.uchicago.edu/aequitas/ Аудит ИИ с открытым исходным кодом, Aequitas в Чикагском университете
^ https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ Снижение предвзятости в моделях ИИ
^ С. Сен, Д. Дасгупта и К. Д. Гупта, «Эмпирическое исследование алгоритмического смещения», 44-я ежегодная конференция IEEE по компьютерам, программному обеспечению и приложениям (COMPSAC) 2020 г., Мадрид, Испания, 2020 г., стр. 1189–1194, doi : 10.1109/COMPSAC48688.2020.00-95.
^ Zou, James; Schiebinger, Londa (июль 2018 г.). «ИИ может быть сексистским и расистским — пора сделать это справедливым». Nature . 559 (7714): 324–326. Bibcode :2018Natur.559..324Z. doi : 10.1038/d41586-018-05707-8 . PMID 30018439.
^ Цзя, Сен; Благосостояние, Томас; Кристианини, Нелло (2018). Правильно по правильной причине: Обучение агностических сетей . Международный симпозиум по интеллектуальному анализу данных. Springer.
^ Sutton, Adam; Welfare, Thomas; Cristianini, Nello (2018). Предвзятые вложения из диких данных: измерение, понимание и удаление . Международный симпозиум по интеллектуальному анализу данных. Springer.
^ Koene, Ansgar (июнь 2017 г.). «Algorithmic Bias: Addressing Growing Concerns [Leading Edge]» (PDF) . Журнал IEEE Technology and Society . 36 (2): 31–32. doi :10.1109/mts.2017.2697080. ISSN 0278-0097. Архивировано из оригинала (PDF) 19 июля 2018 г. . Получено 1 августа 2019 г. .
^ "P7003 - Рассмотрение алгоритмического смещения". IEEE . Архивировано из оригинала 3 декабря 2018 г. . Получено 3 декабря 2018 г. .
^ The Internet Society (18 апреля 2017 г.). «Искусственный интеллект и машинное обучение: политический документ». Internet Society . Получено 11 февраля 2020 г. .
^ ab "White Paper: How to Prevent Discriminatory Results in Machine Learning". Всемирный экономический форум . 12 марта 2018 г. Получено 11 февраля 2020 г.
^ "Объяснимый искусственный интеллект". www.darpa.mil . Получено 11 февраля 2020 г. .
^ PricewaterhouseCoopers. «Ответственная структура ИИ». PwC . Получено 11 февраля 2020 г.
^ Хилд, Дэвид (7 сентября 2006 г.). Прозрачность: ключ к лучшему управлению? . Британская академия. doi :10.5871/bacad/9780197263839.003.0002. ISBN 978-0-19-726383-9.
^ Кемпер, Якко; Колкман, Даан (6 декабря 2019 г.). «Прозрачный для кого? Никакой алгоритмической ответственности без критической аудитории». Информация, коммуникация и общество . 22 (14): 2081–2096. doi : 10.1080/1369118X.2018.1477967 . hdl : 11245.1/75cb1256-5fe5-4724-9a63-03ef66032d8e . ISSN 1369-118X.
^ «Торонтонская декларация: Защита прав на равенство и недискриминацию в системах машинного обучения». Human Rights Watch . 3 июля 2018 г. Получено 11 февраля 2020 г.
^ Торонтская декларация: Защита права на равенство и недискриминацию в системах машинного обучения (PDF) . Human Rights Watch. 2018. стр. 15.
^ Флориди, Лучано; Коулс, Джош; Бельтраметти, Моника; Чатила, Раджа; Шазеранд, Патрис; Дигнум, Вирджиния; Лютге, Кристоф; Мэдлин, Роберт; Пагалло, Уго; Росси, Франческа; Шафер, Буркхард (1 декабря 2018 г.). «AI4People — этические рамки хорошего общества искусственного интеллекта: возможности, риски, принципы и рекомендации». Разум и машины . 28 (4): 703. doi :10.1007/s11023-018-9482-5. ISSN 1572-8641. ПМК 6404626 . ПМИД 30930541.
↑ Кроуфорд, Кейт (25 июня 2016 г.). «Мнение | Проблема белого парня в искусственном интеллекте». The New York Times . ISSN 0362-4331 . Получено 11 февраля 2020 г.
^ «Искусственный интеллект — будущее, но где же женщины?». Wired . ISSN 1059-1028 . Получено 11 февраля 2020 г.
^ Сноу, Джеки. ««Мы находимся в кризисе разнообразия»: соучредитель Black in AI о том, что отравляет алгоритмы в нашей жизни». MIT Technology Review . Получено 11 февраля 2020 г.
^ Хао, Карен (14 июня 2021 г.). «Внутри борьбы за возвращение ИИ из-под контроля крупных технологических компаний». MIT Technology Review . Получено 21 июня 2021 г.
^ Систон, Сара (29 декабря 2019 г.). «Интерсекциональный ИИ необходим». Журнал науки и технологий искусств . 11 (2): 3–8. doi : 10.7559/citarj.v11i2.665 . ISSN 2183-0088.
^ Д'Игнацио, Кэтрин; Кляйн, Лорен Ф. (2020). Данные феминизма . МТИ Пресс. ISBN 978-0262044004.
^ Кейв, Стивен; Дихал, Канта (6 августа 2020 г.). «Белизна ИИ». Философия и технологии . 33 (4): 685–703. doi : 10.1007/s13347-020-00415-6 . ISSN 2210-5441.
^ Бонди, Элизабет; Сюй, Лили; Акоста-Навас, Диана; Киллиан, Джексон А. (2021). «Представление сообществ: подход с участием к ИИ для общественного блага». Труды конференции AAAI/ACM 2021 года по ИИ, этике и обществу. С. 425–436. arXiv : 2105.01774 . doi :10.1145/3461702.3462612. ISBN 9781450384735. S2CID 233740121 . Получено 6 апреля 2023 г. – через ezpa.library.ualberta.ca.
↑ Университет, Стэнфорд (18 марта 2019 г.). «Стэнфордский университет запускает Институт искусственного интеллекта, ориентированного на человека». Stanford News . Получено 6 апреля 2023 г. .
^ Бонди, Элизабет; Сюй, Лили; Акоста-Навас, Диана; Киллиан, Джексон А. (21 июля 2021 г.). «Представление сообществ: подход с участием к ИИ для общественного блага». Труды конференции AAAI/ACM 2021 года по ИИ, этике и обществу . С. 425–436. arXiv : 2105.01774 . doi :10.1145/3461702.3462612. ISBN 9781450384735. S2CID 233740121.
^ Байгрейв, Ли А. (2001). «Автоматизированное профилирование». Computer Law & Security Review . 17 (1): 17–24. doi :10.1016/s0267-3649(01)00104-2.
^ ab Veale, Michael; Edwards, Lilian (2018). «Ясность, неожиданности и дополнительные вопросы в проекте руководства рабочей группы по статье 29 по автоматизированному принятию решений и профилированию» (PDF) . Computer Law & Security Review . 34 (2): 398–404. doi :10.1016/j.clsr.2017.12.002. S2CID 4797884. SSRN 3071679.
^ Вахтер, Сандра; Миттельштадт, Брент; Флориди, Лучано (1 мая 2017 г.). «Почему право на объяснение автоматизированного принятия решений не существует в Общем регламенте по защите данных». Международное право о конфиденциальности данных . 7 (2): 76–99. doi : 10.1093/idpl/ipx005 . ISSN 2044-3994.
^ Эдвардс, Лилиан; Вил, Майкл (23 мая 2017 г.). «Раб алгоритма? Почему право на объяснение, вероятно, не то средство, которое вы ищете». Duke Law & Technology Review . 16 : 18–84. SSRN 2972855.
^ ab Singer, Natasha (2 февраля 2013 г.). «Законы о защите данных потребителей, разделяющие океан». The New York Times . Получено 26 ноября 2017 г.
↑ Обама, Барак (12 октября 2016 г.). «Доклад администрации о будущем искусственного интеллекта». whitehouse.gov . Национальный архив . Получено 26 ноября 2017 г. .
^ и Технологический совет, Национальная наука (2016). Национальный стратегический план исследований и разработок в области искусственного интеллекта (PDF) . Правительство США . Получено 26 ноября 2017 г.
^ Киршнер, Лорен (18 декабря 2017 г.). «Нью-Йорк принимает меры по созданию ответственности за алгоритмы — ProPublica». ProPublica . Получено 28 июля 2018 г. .
^ "The New York City Council - File #: Int 1696-2017". legistar.council.nyc.gov . New York City Council . Получено 28 июля 2018 г. .
^ Поулз, Джулия. «Смелая, ошибочная попытка Нью-Йорка сделать алгоритмы ответственными». The New Yorker . Получено 28 июля 2018 г.
^ "Индия рассматривает всеобъемлющий законопроект о конфиденциальности данных, аналогичный GDPR ЕС". Insurance Journal . 31 июля 2018 г. Получено 26 февраля 2019 г.
^ "Законопроект о защите персональных данных, 2018" (PDF) . Министерство электроники и информационных технологий, Правительство Индии. 2018. Получено 29 апреля 2022 г.

Дальнейшее чтение

Баер, Тобиас (2019). Понимание, управление и предотвращение алгоритмической предвзятости: руководство для бизнес-пользователей и специалистов по данным. Нью-Йорк: Apress. ISBN 9781484248843.
Нобл, Сафия Умоджа (2018). Алгоритмы угнетения: как поисковые системы усиливают расизм . Нью-Йорк: New York University Press. ISBN 9781479837243.