stringtranslate.com

Аудио дипфейк

Аудио дипфейк (также известный как клонирование голоса или дипфейк-аудио ) — это продукт искусственного интеллекта [1], используемый для создания убедительных речевых предложений, которые звучат так, как будто конкретные люди говорят то, чего они не говорили. [2] [3] [4] Эта технология изначально была разработана для различных приложений, чтобы улучшить жизнь человека. Например, ее можно использовать для создания аудиокниг, [5] а также для помощи людям, потерявшим голос (из-за заболеваний горла или других медицинских проблем), вернуть его. [6] [7] С коммерческой точки зрения она открыла дверь для нескольких возможностей. Эта технология также может создавать более персонализированных цифровых помощников и естественно звучащие текст-в-речь, а также услуги по переводу речи .

Случаи мошенничества

Аудиоподделки, называемые аудиоманипуляциями с начала 2020-х годов, становятся широко доступными с помощью простых мобильных устройств или персональных компьютеров . [8] Эти инструменты также использовались для распространения дезинформации с помощью аудио. [3] Это привело к возникновению опасений по поводу кибербезопасности среди мировой общественности относительно побочных эффектов использования аудиоподделок, включая их возможную роль в распространении дезинформации и дезинформации на аудиоплатформах социальных сетей. [9] Люди могут использовать их в качестве логического метода голосовой подмены доступа , [10] где они могут использоваться для манипулирования общественным мнением в целях пропаганды, клеветы или терроризма . Огромные объемы голосовых записей ежедневно передаются через Интернет, и обнаружение подделки является сложной задачей. [11] Злоумышленники, использующие аудиоподделки, нацелились на отдельных лиц и организации, включая политиков и правительства. [12]

В 2019 году мошенники, использующие искусственный интеллект, выдавали себя за генерального директора немецкой энергетической компании и поручили генеральному директору ее дочерней компании в Великобритании перевести 220 000 евро . [13] В начале 2020 года тот же прием использовался для выдачи себя за директора компании в рамках сложной схемы, которая убедила менеджера филиала перевести 35 миллионов долларов. [14]

Согласно глобальному опросу McAfee 2023 года , один человек из десяти сообщил, что стал жертвой мошенничества с использованием ИИ для клонирования голоса; 77% из этих жертв сообщили, что потеряли деньги из-за мошенничества. [15] [16] Аудиоподделки также могут представлять опасность для систем идентификации голоса , которые в настоящее время используются финансовыми учреждениями. [17] [18] В марте 2023 года Федеральная торговая комиссия США выпустила предупреждение для потребителей об использовании ИИ для подделки голоса члена семьи, находящегося в беде и просящего денег. [19]

В октябре 2023 года во время начала конференции британской Лейбористской партии в Ливерпуле была выпущена аудиоподделка лидера лейбористов Кира Стармера , которая ложно изображала его оскорбляющим своих сотрудников и критикующим Ливерпуль. [20] В том же месяце была выпущена аудиоподделка словацкого политика Михала Шимечки , которая ложно утверждала, что запечатлела его обсуждение способов фальсификации предстоящих выборов. [21]

Во время кампании по выборам президента от Демократической партии в Нью-Гемпшире в 2024 году более 20 000 избирателей получили автоматические звонки от президента Джо Байдена, выдававшего себя за ИИ , с призывом не голосовать. [22] [23] Генеральный прокурор Нью-Гемпшира заявил, что это нарушает законы штата о выборах и предполагает причастность Life Corporation и Lingo Telecom. [24] В феврале 2024 года Федеральная комиссия по связи США запретила использование ИИ для подделки голосов в автоматических звонках. [25] [26] В том же месяце политический консультант Стив Крамер признался, что заказал звонки за 500 долларов. Он сказал, что хотел привлечь внимание к необходимости правил, регулирующих использование ИИ в политических кампаниях. [27] В мае Федеральная комиссия по связи заявила, что Крамер нарушил федеральный закон, подделав номер местного политического деятеля, и предложила штраф в размере 6 миллионов долларов. Четыре округа Нью-Гэмпшира предъявили Крамеру обвинения в совершении тяжких преступлений, связанных с подавлением избирателей и выдачей себя за кандидата, что является правонарушением. [28]

Категории

Аудиоподделки можно разделить на три категории:

На основе воспроизведения

Дипфейки на основе воспроизведения — это вредоносные работы, целью которых является воспроизведение записи голоса собеседника. [29]

Существует два типа: обнаружение в дальнем поле и обнаружение методом вырезания и вставки . При обнаружении в дальнем поле запись микрофона жертвы воспроизводится в качестве тестового сегмента на телефоне с функцией громкой связи. [30] С другой стороны, метод вырезания и вставки подразумевает подделку запрошенного предложения из текстозависимой системы. [11] Текстозависимая верификация говорящего может использоваться для защиты от атак на основе воспроизведения. [29] [31] Текущая методика, которая обнаруживает атаки на воспроизведение из конца в конец, заключается в использовании глубоких сверточных нейронных сетей . [32]

На синтетической основе

Блок-схема, иллюстрирующая синтетический подход к созданию аудиоподделок
Диаграмма синтетического подхода

Категория, основанная на синтезе речи, относится к искусственному воспроизведению человеческой речи с использованием программного обеспечения или аппаратных системных программ. Синтез речи включает в себя Text-To-Speech, который направлен на преобразование текста в приемлемую и естественную речь в реальном времени, [33] заставляя речь звучать в соответствии с вводимым текстом, используя правила лингвистического описания текста.

Классическая система такого типа состоит из трех модулей: модель анализа текста, акустическая модель и вокодер . Генерация обычно должна следовать двум основным этапам. Необходимо собрать чистый и хорошо структурированный сырой звук с транскрибированным текстом исходного речевого аудиопредложения. Во-вторых, модель Text-To-Speech должна быть обучена с использованием этих данных для построения синтетической модели генерации звука.

В частности, транскрибированный текст с голосом целевого говорящего является входными данными для модели генерации. Модуль анализа текста обрабатывает входной текст и преобразует его в лингвистические признаки. Затем акустический модуль извлекает параметры целевого говорящего из аудиоданных на основе лингвистических признаков, сгенерированных модулем анализа текста. [8] Наконец, вокодер учится создавать голосовые формы волн на основе параметров акустических признаков. Генерируется окончательный аудиофайл, включающий синтетический имитационный звук в формате формы волны, создавая речевой звук в голосе многих говорящих, даже тех, кто не проходит обучение.

Первый прорыв в этом отношении был представлен WaveNet , [34] нейронной сетью для генерации сырых звуковых волн, способных эмулировать характеристики многих различных ораторов. Эта сеть была захвачена с годами другими системами [35] [36] [37] [38] [39] [40] , которые синтезируют высокореалистичные искусственные голоса в пределах досягаемости каждого. [41]

Text-To-Speech сильно зависит от качества голосового корпуса, используемого для реализации системы, а создание целого голосового корпуса обходится дорого. [ необходима цитата ] Другим недостатком является то, что системы синтеза речи не распознают точки или специальные символы. Кроме того, проблемы неоднозначности сохраняются, поскольку два слова, написанные одинаково, могут иметь разное значение. [ необходима цитата ]

Основанный на имитации

Блок-схема, иллюстрирующая подход, основанный на имитации, для создания аудиоподделок
Диаграмма подхода, основанного на имитации

Аудиоподделка, основанная на имитации, — это способ преобразования оригинальной речи одного говорящего — оригинала — таким образом, чтобы она звучала как речь другого говорящего — целевого. [42] Алгоритм, основанный на имитации, принимает речевой сигнал в качестве входных данных и изменяет его, изменяя его стиль, интонацию или просодию, пытаясь имитировать целевой голос, не изменяя лингвистическую информацию. [43] Этот метод также известен как преобразование голоса.

Этот метод часто путают с предыдущим методом Synthetic-based, поскольку нет четкого разделения между двумя подходами относительно процесса генерации. Действительно, оба метода изменяют акустические спектральные и стилевые характеристики речевого аудиосигнала, но метод Imitation-based обычно сохраняет входной и выходной текст неизменными. Это достигается путем изменения того, как это предложение произносится, чтобы соответствовать характеристикам целевого говорящего. [44]

Голоса можно имитировать несколькими способами, например, используя людей с похожими голосами, которые могут имитировать оригинального оратора. В последние годы наиболее популярный подход предполагает использование определенных нейронных сетей, называемых генеративно-состязательными сетями (GAN), из-за их гибкости, а также высококачественных результатов. [29] [42]

Затем исходный аудиосигнал преобразуется в речь в целевом аудио с использованием метода генерации имитации, который генерирует новую речь, отображаемую в поддельной речи.

Методы обнаружения

Задача обнаружения аудиоподделок определяет, является ли данная аудиозапись речи реальной или поддельной.

В последнее время эта тема стала актуальной в сообществе криминалистов , пытающихся угнаться за быстрым развитием технологий подделки документов.

В целом методы обнаружения deepfake можно разделить на две категории в зависимости от аспекта, который они используют для выполнения задачи обнаружения. Первый фокусируется на низкоуровневых аспектах, ища артефакты, введенные генераторами на уровне образца. Второй, напротив, фокусируется на высокоуровневых признаках, представляющих более сложные аспекты, такие как семантическое содержание аудиозаписи речи.

Диаграмма, иллюстрирующая обычную структуру, используемую для выполнения задачи обнаружения аудиоподделок.
Универсальная структура обнаружения аудиоподделок

Многие модели машинного обучения и глубокого обучения были разработаны с использованием различных стратегий для обнаружения поддельного аудио. В большинстве случаев эти алгоритмы следуют трехэтапной процедуре:

  1. Каждая аудиозапись речи должна быть предварительно обработана и преобразована в соответствующие аудиохарактеристики;
  2. Вычисленные характеристики передаются в модель обнаружения, которая выполняет необходимые операции, такие как процесс обучения, необходимый для различения реальной и поддельной аудиозаписи речи;
  3. Выходные данные подаются в конечный модуль для получения вероятности предсказания класса Fake или Real . Согласно номенклатуре задач ASVspoof [45] , Fake-аудио обозначается термином «Spoof», Real вместо этого называется «Bonafide».

На протяжении многих лет многие исследователи показали, что подходы машинного обучения точнее методов глубокого обучения, независимо от используемых признаков. [8] Однако масштабируемость методов машинного обучения не подтверждается из-за чрезмерного обучения и ручного извлечения признаков, особенно для многих аудиофайлов. Вместо этого, когда используются алгоритмы глубокого обучения, требуются определенные преобразования аудиофайлов, чтобы гарантировать, что алгоритмы могут с ними справиться.

Существует несколько реализаций различных методов обнаружения с открытым исходным кодом, [46] [47] [48] и обычно многие исследовательские группы публикуют их на публичном хостинге, таком как GitHub .

Открытые проблемы и будущее направление исследований

Аудио дипфейк — это совсем новая область исследований. По этой причине существует множество возможностей для развития и улучшения, а также возможных угроз, которые принятие этой технологии может принести в нашу повседневную жизнь. Наиболее важные из них перечислены ниже.

Генерация Deepfake

Что касается генерации, то наиболее значимым аспектом является достоверность жертвы, т. е. качество восприятия аудиоподделки.

Несколько метрик определяют уровень точности генерации аудио дипфейков, и наиболее широко используемым является MOS (Mean Opinion Score) , который является арифметическим средним пользовательских оценок. Обычно тест, который должен быть оценен, включает перцептивную оценку предложений, сделанных различными алгоритмами генерации речи. Этот индекс показал, что аудио, сгенерированное алгоритмами, обученными на одном дикторе, имеет более высокий MOS. [44] [34] [49] [50] [39]

Частота дискретизации также играет важную роль в обнаружении и создании аудиоподделок. В настоящее время доступные наборы данных имеют частоту дискретизации около 16 кГц, что значительно снижает качество речи. Увеличение частоты дискретизации может привести к созданию более высокого качества. [37]

Обнаружение Deepfake

Если сосредоточиться на части обнаружения, то одним из основных недостатков последних моделей является принятый язык.

Большинство исследований сосредоточены на обнаружении аудиоподделок на английском языке, не уделяя особого внимания наиболее распространенным языкам, таким как китайский и испанский [51] , а также хинди и арабскому языку.

Также важно учитывать больше факторов, связанных с различными акцентами, которые представляют собой способ произношения, строго связанный с конкретным человеком, местоположением или нацией. В других областях аудио, таких как распознавание говорящего , акцент, как было обнаружено, значительно влияет на производительность, [52] поэтому ожидается, что эта особенность может повлиять на производительность моделей даже в этой задаче обнаружения.

Кроме того, чрезмерная предварительная обработка аудиоданных привела к очень высоким и часто неустойчивым вычислительным затратам. По этой причине многие исследователи предложили следовать подходу Self-Supervised Learning [53] , имея дело с немаркированными данными для эффективной работы в задачах обнаружения и улучшения масштабируемости модели, и, в то же время, снижения вычислительных затрат.

Обучение и тестирование моделей с реальными аудиоданными все еще остается недостаточно развитой областью. Действительно, использование аудио с реальными фоновыми шумами может повысить надежность моделей обнаружения поддельного аудио.

Кроме того, большая часть усилий сосредоточена на обнаружении синтетических аудиоподделок, и лишь немногие исследования анализируют имитации из-за внутренней сложности процесса их генерации. [11]

Защита от дипфейков

За прошедшие годы появилось больше методов, направленных на защиту от вредоносных действий, которые может совершить аудиоподделка, например, кража личных данных и манипуляция речами губернаторов страны.

Чтобы предотвратить дипфейки, некоторые предлагают использовать блокчейн и другие технологии распределенного реестра (DLT) для определения происхождения данных и отслеживания информации. [8] [54] [55] [56]

Извлечение и сравнение аффективных сигналов, соответствующих воспринимаемым эмоциям из цифрового контента, также было предложено для борьбы с дипфейками. [57] [58] [59]

Другой критический аспект касается смягчения этой проблемы. Было высказано предположение, что было бы лучше оставить некоторые фирменные инструменты обнаружения только для тех, кому они нужны, например, для проверки фактов журналистами. [29] Таким образом, те, кто создает модели генерации, возможно, в неблаговидных целях, не будут точно знать, какие функции облегчают обнаружение deepfake, [29] отпугивая возможных злоумышленников.

Вместо этого, чтобы улучшить обнаружение, исследователи пытаются обобщить процесс, [60] ищут методы предварительной обработки, которые улучшают производительность, и тестируют различные функции потерь, используемые для обучения. [10] [61]

Научно-исследовательские программы

Многочисленные исследовательские группы по всему миру работают над распознаванием медиа-манипуляций; то есть аудио-дипфейков, а также дипфейков изображений и видео. Эти проекты обычно поддерживаются государственным или частным финансированием и находятся в тесном контакте с университетами и исследовательскими институтами.

Для этой цели Агентство перспективных исследовательских проектов Министерства обороны США (DARPA) запускает программу семантической криминалистики (SemaFor). [62] [63] Используя некоторые исследования программы медиакриминалистики (MediFor) [64] [65] , также разработанной DARPA, эти алгоритмы семантического обнаружения должны будут определить, был ли медиа-объект сгенерирован или изменен, чтобы автоматизировать анализ происхождения медиа и раскрыть намерение, стоящее за фальсификацией различного контента. [66] [62]

Другая исследовательская программа — это программа «Сохранение доверия к СМИ в эпоху искусственного интеллекта» (PREMIER) [67] , финансируемая Министерством образования, университетов и исследований Италии (MIUR) и реализуемая пятью итальянскими университетами. PREMIER будет использовать новые гибридные подходы для получения криминалистических детекторов, которые будут более интерпретируемыми и безопасными. [68]

DEEP-VOICE [69] — общедоступный набор данных, предназначенный для исследовательских целей по разработке систем для обнаружения того, когда речь была сгенерирована с помощью нейронных сетей с помощью процесса, называемого Retrieval-based Voice Conversion (RVC). Предварительные исследования показали многочисленные статистически значимые различия между признаками, обнаруженными в человеческой речи, и признаками, которые были сгенерированы алгоритмами искусственного интеллекта.

Публичные вызовы

За последние несколько лет было организовано множество конкурсов, призванных еще больше продвинуть эту область исследований аудиодипфейков.

Самый известный в мире вызов — ASVspoof, [45] вызов Automatic Speaker Verification Spoofing and Countermeasures Challenge. Этот вызов — это двухгодичная инициатива сообщества, направленная на продвижение рассмотрения спуфинга и разработку контрмер. [70]

Еще одной недавней задачей является ADD [71] — обнаружение аудиоподделок — которое рассматривает поддельные ситуации в более реальных жизненных сценариях. [72]

Также дважды в год проводится конкурс Voice Conversion Challenge [73] , созданный с целью сравнения различных систем и подходов к преобразованию голоса с использованием одних и тех же голосовых данных.

Смотрите также

Ссылки

  1. ^ Смит, Ханна; Манстед, Кэтрин (1 апреля 2020 г.). Вооруженные дипфейки: Национальная безопасность и демократия . Том 28. Австралийский институт стратегической политики . С. 11–13. ISSN  2209-9689.{{cite book}}: CS1 maint: дата и год ( ссылка )
  2. ^ Лю, Сивэй (2020). «Deepfake Detection: Current Challenges and Next Steps». IEEE International Conference on Multimedia & Expo Workshops 2020 (ICMEW) . С. 1–6. arXiv : 2003.09234 . doi : 10.1109/icmew46912.2020.9105991. ISBN 978-1-7281-1485-9. S2CID  214605906 . Получено 29.06.2022 .
  3. ^ ab Диакопулос, Николас; Джонсон, Дебора (июнь 2020 г.). «Ожидание и решение этических последствий дипфейков в контексте выборов». Новые медиа и общество . 23 (7) (опубликовано 05.06.2020): 2072–2098. doi : 10.1177/1461444820925811. ISSN  1461-4448. S2CID  226196422.
  4. ↑ Мерфи, Марги (20 февраля 2024 г.). «Бум Deepfake Audio использует искусственный интеллект стартапа стоимостью в один миллиард долларов» . Блумберг.
  5. ^ Чадха, Анупама; Кумар, Вайбхав; Кашьяп, Сону; Гупта, Маянк (2021), Сингх, Прадип Кумар; Вежчонь, Славомир Т.; Танвар, Судип; Ганжа, Мария (ред.), «Deepfake: An Overview», Труды Второй международной конференции по вычислениям, коммуникациям и кибербезопасности , Lecture Notes in Networks and Systems, т. 203, Сингапур: Springer Singapore, стр. 557–566, doi :10.1007/978-981-16-0733-2_39, ISBN 978-981-16-0732-5, S2CID  236666289 , получено 29.06.2022
  6. ^ «ИИ вернул Вэлу Килмеру его голос. Но критики опасаются, что технология может быть использована не по назначению». Washington Post . ISSN  0190-8286 . Получено 29.06.2022 .
  7. ^ Этьен, Ванесса (19 августа 2021 г.). «Вэл Килмер снова слышит голос после борьбы с раком горла с помощью технологии искусственного интеллекта: узнайте результаты». PEOPLE.com . Получено 01.07.2022 .
  8. ^ abcd Альмутаири, Зайнаб; Элджибрин, Хебах (2022-05-04). «Обзор современных методов обнаружения аудиодипфейков: проблемы и будущие направления». Алгоритмы . 15 (5): 155. doi : 10.3390/a15050155 . ISSN  1999-4893.
  9. ^ Caramancion, Kevin Matthe (июнь 2022 г.). «Исследование дезинформации в аудиоформате, распространяемом в подкастах: пример Spotify». Международная конференция IEEE 2022 года по Интернету вещей, электронике и мехатронике (IEMTRONICS) . стр. 1–6. doi : 10.1109/IEMTRONICS55184.2022.9795760. ISBN 978-1-6654-8684-2. S2CID  249903722.
  10. ^ ab Chen, Tianxiang; Kumar, Avrosh; Nagarsheth, Parav; Sivaraman, Ganesh; Khoury, Elie (2020-11-01). «Обобщение обнаружения аудиодипфейков». Семинар по распознаванию говорящего и языка (Odyssey 2020) . ISCA: 132–137. doi :10.21437/Odyssey.2020-19. S2CID  219492826.
  11. ^ abc Ballesteros, Дора М.; Родригес-Ортега, Йоханна; Ренца, Диего; Арсе, Гонсало (01 декабря 2021 г.). «Deep4SNet: глубокое обучение для классификации фальшивой речи». Экспертные системы с приложениями . 184 : 115465. doi : 10.1016/j.eswa.2021.115465. ISSN  0957-4174. S2CID  237659479.
  12. ^ Suwajanakorn, Supasorn; Seitz, Steven M.; Kemelmacher-Shlizerman, Ira (2017-07-20). «Синтез Обамы: изучение синхронизации губ по аудио». ACM Transactions on Graphics . 36 (4): 95:1–95:13. doi : 10.1145/3072959.3073640. ISSN  0730-0301. S2CID  207586187.
  13. ^ Стапп, Кэтрин. «Мошенники использовали ИИ для имитации голоса генерального директора в необычном деле о киберпреступлении». WSJ . Получено 26.05.2024 .
  14. ^ Брюстер, Томас. «Мошенники клонировали голос директора компании при ограблении банка на 35 миллионов долларов, обнаружила полиция». Forbes . Получено 29.06.2022 .
  15. ^ «Генеративный ИИ делает голосовые мошенничества более вероятными». Axios . 13 июня 2023 г. . Получено 16 июня 2023 г. .
  16. ^ Банн, Эми (15 мая 2023 г.). «Искусственные самозванцы — киберпреступники обращаются к клонированию голоса ИИ для нового вида мошенничества». Блог McAfee . Получено 16 июня 2023 г.
  17. ^ Кокс, Джозеф (23 февраля 2023 г.). «Как я взломал банковский счет с помощью голоса, сгенерированного искусственным интеллектом». Vice . Получено 16 июня 2023 г.
  18. ^ Эвершед, Ник; Тейлор, Джош (16 марта 2023 г.). «ИИ может обмануть систему распознавания голоса, используемую Centrelink и австралийской налоговой службой для проверки личности». The Guardian . Получено 16 июня 2023 г.
  19. ^ «Мошенники используют ИИ для улучшения своих схем экстренной помощи семьям». Советы потребителям . 2023-03-17 . Получено 2024-05-26 .
  20. ^ «В первый день конференции Лейбористской партии была опубликована поддельная аудиозапись сэра Кейра Стармера».
  21. ^ Микер, Морган. «Глубокие фейки о выборах в Словакии показывают, что искусственный интеллект представляет опасность для демократии». Wired .
  22. ^ «Политическому консультанту, стоящему за поддельным робозвонком Байдена с использованием искусственного интеллекта, предъявлены обвинения в Нью-Гемпшире».
  23. ^ "Политический консультант обвиняется в найме фокусника для рассылки спама избирателям с помощью дипфейковых звонков Байдена". Закон и преступность . 2024-03-15 . Получено 2024-05-23 .
  24. ^ Дэвид Райт; Брайан Фанг; Брайан Фанг (6 февраля 2024 г.). «Поддельный робозвонок Байдена связан с компаниями, базирующимися в Техасе, сообщает генеральный прокурор Нью-Гемпшира». CNN .
  25. ↑ Брайан Фанг (8 февраля 2024 г.). «FCC голосует за запрет мошеннических роботизированных звонков, использующих голоса, сгенерированные искусственным интеллектом». CNN.
  26. ^ "FCC делает незаконными голоса, сгенерированные искусственным интеллектом, в автоматических звонках | Федеральная комиссия по связи". www.fcc.gov . 2024-02-08 . Получено 2024-05-26 .
  27. ^ Крамер, Марсия (2024-02-26). «Стив Крамер объясняет, почему он использовал ИИ, чтобы выдать себя за президента Байдена в Нью-Гемпшире — CBS New York». www.cbsnews.com . Получено 2024-05-23 .
  28. ^ «Политическому консультанту предъявлены обвинения и штрафы за поддельные роботизированные звонки Байдену».
  29. ^ abcde Ханджани, Захра; Уотсон, Габриэль; Джанеджа, Вандана П. (2021-11-28). «Насколько глубоки подделки? Сосредоточение внимания на аудиодипфейках: обзор». arXiv : 2111.14203 [cs.SD].
  30. ^ Прадхан, Свадхин; Сан, Вэй; Байг, Гуфран; Цю, Лили (2019-09-09). «Борьба с атаками воспроизведения против голосовых помощников». Труды ACM по интерактивным, мобильным, носимым и повсеместным технологиям . 3 (3): 100:1–100:26. doi :10.1145/3351258. S2CID  202159551.
  31. ^ Виллальба, Иисус; Лерида, Эдуардо (2011). «Предотвращение атак воспроизведения на системы проверки говорящих». Конференция Карнахана по технологиям безопасности 2011 г. стр. 1–8. doi :10.1109/CCST.2011.6095943. ISBN 978-1-4577-0903-6. S2CID  17048213 . Получено 29.06.2022 .
  32. ^ Том, Фрэнсис; Джейн, Мохит; Дей, Прасенджит (2018-09-02). «Обнаружение сквозных атак воспроизведения звука с использованием глубоких сверточных сетей с вниманием». Interspeech 2018. ISCA: 681–685. doi :10.21437/Interspeech.2018-2279. S2CID  52187155.
  33. ^ Тан, Сюй; Цинь, Тао; Сун, Фрэнк; Лю, Те-Янь (2021-07-23). ​​«Обзор нейронного синтеза речи». arXiv : 2106.15561 [eess.AS].
  34. ^ Аб Оорд, Аарон ван ден; Дилеман, Сандер; Дзен, Хейга; Симонян, Карен; Виньялс, Ориол; Грейвс, Алекс; Кальхбреннер, Нал; Старший, Эндрю; Кавукчуоглу, Корай (19 сентября 2016 г.). «WaveNet: генеративная модель для необработанного аудио». arXiv : 1609.03499 [cs.SD].
  35. ^ Кучаев, Алексей; Ли, Джейсон; Нгуен, Хуен; Гринчук Алексей; Лири, Райан; Гинзбург, Борис; Криман, Сэмюэл; Беляев Станислав; Лаврухин, Виталий; Кук, Джек; Кастонге, Патрис (13 сентября 2019 г.). «NeMo: набор инструментов для создания приложений искусственного интеллекта с использованием нейронных модулей». arXiv : 1909.09577 [cs.LG].
  36. ^ Ван, Юйсюань; Скерри-Райан, Р. Дж.; Стэнтон, Дэйзи; У, Йонгхуэй; Вайс, Рон Дж.; Джейтли, Навдип; Ян, Цзунхэн; Сяо, Ин; Чэнь, Чжифэн; Бенджио, Сами; Ле, Куок (2017-04-06). «Tacotron: на пути к сквозному синтезу речи». arXiv : 1703.10135 [cs.CL].
  37. ^ ab Пренгер, Райан; Валле, Рафаэль; Катандзаро, Брайан (2018-10-30). «WaveGlow: Генеративная сеть на основе потока для синтеза речи». arXiv : 1811.00002 [cs.SD].
  38. ^ Васкес, Шон; Льюис, Майк (2019-06-04). «MelNet: генеративная модель для звука в частотной области». arXiv : 1906.01083 [eess.AS].
  39. ^ ab Ping, Wei; Peng, Kainan; Gibiansky, Andrew; Arik, Sercan O.; Kannan, Ajay; Narang, Sharan; Raiman, Jonathan; Miller, John (2018-02-22). "Deep Voice 3: Масштабирование преобразования текста в речь с помощью обучения сверточным последовательностям". arXiv : 1710.07654 [cs.SD].
  40. ^ Рен, Йи; Жуань, Янджун; Тан, Сюй; Цинь, Тао; Чжао, Шэн; Чжао, Чжоу; Лю, Те-Янь (20 ноября 2019 г.). «FastSpeech: быстрое, надежное и управляемое преобразование текста в речь». arXiv : 1905.09263 [cs.CL].
  41. ^ Нин, Ишуан; Он, Шэн; Ву, Чжиюн; Син, Чуньсяо; Чжан, Лян-Цзе (январь 2019 г.). «Обзор синтеза речи на основе глубокого обучения». Прикладные науки . 9 (19): 4050. дои : 10.3390/app9194050 . ISSN  2076-3417.
  42. ^ ab Родригес-Ортега, Йоханна; Баллестерос, Дора Мария; Ренза, Диего (2020). «Модель машинного обучения для обнаружения поддельного голоса». В Флорес, Гектор; Мисра, Санджай (ред.). Прикладная информатика . Коммуникации в области компьютерных и информационных наук. Том 1277. Cham: Springer International Publishing. стр. 3–13. doi : 10.1007/978-3-030-61702-8_1. ISBN 978-3-030-61702-8. S2CID  226283369.
  43. ^ Чжан, Минъян; Ван, Синь; Фан, Фумин; Ли, Хайчжоу; Ямагиши, Дзюнъити (2019-04-07). «Совместная учебная структура для преобразования текста в речь и голоса с использованием Tacotron из нескольких источников и WaveNet». arXiv : 1903.12389 [eess.AS].
  44. ^ ab Sercan, Ö Arık; Jitong, Chen; Kainan, Peng; Wei, Ping; Yanqi, Zhou (2018). «Нейронное клонирование голоса с несколькими образцами». Advances in Neural Information Processing Systems (NeurIPS 2018) . 31 (опубликовано 12 октября 2018 г.): 10040–10050. arXiv : 1802.06006 .
  45. ^ ab "| ASVspoof". www.asvspoof.org . Получено 2022-07-01 .
  46. ^ similar-ai/Resemblyzer, Resemble AI, 2022-06-30 , получено 2022-07-01
  47. ^ mendaxfz (2022-06-28), Synthetic-Voice-Detection , получено 2022-07-01
  48. ^ HUA, Guang (2022-06-29), Сквозное синтетическое речевое обнаружение , получено 2022-07-01
  49. ^ Конг, Чонгил; Ким, Джэхён; Бэ, Джэкён (2020-10-23). ​​«HiFi-GAN: генеративные состязательные сети для эффективного и высокоточного синтеза речи». arXiv : 2010.05646 [cs.SD].
  50. ^ Кумар, Кундан; Кумар, Ритеш; де Буасьер, Тибо; Гестин, Лукас; Тео, Вэй Чжэнь; Сотело, Хосе; де Бребиссон, Александр; Бенджио, Йошуа; Курвиль, Аарон (08 декабря 2019 г.). «MelGAN: Генеративно-состязательные сети для синтеза условных сигналов». arXiv : 1910.06711 [eess.AS].
  51. ^ Babbel.com; GmbH, Урок девятый. «10 самых распространенных языков в мире». Журнал Babbel . Получено 30 июня 2022 г.
  52. ^ Наджафян, Марьям; Рассел, Мартин (сентябрь 2020 г.). «Автоматическая идентификация акцента как аналитический инструмент для надежного автоматического распознавания речи с учетом акцента». Речевая коммуникация . 122 : 44–55. doi :10.1016/j.specom.2020.05.003. S2CID  225778214.
  53. ^ Лю, Сяо; Чжан, Фаньцзинь; Хоу, Чжэньюй; Миан, Ли; Ван, Чжаоюй; Чжан, Цзин; Тан, Цзе (2021). «Обучение с самоконтролем: порождающее или контрастное». Транзакции IEEE по знаниям и инженерии данных . 35 (1): 857–876. arXiv : 2006.08218 . дои :10.1109/TKDE.2021.3090866. ISSN  1558-2191. S2CID  219687051.
  54. ^ Рашид, Мд Мамунур; Ли, Сук-Хван; Квон, Ки-Рён (2021). «Технология блокчейна для борьбы с дипфейком и защиты целостности видео/изображений». Журнал Корейского мультимедийного общества . 24 (8): 1044–1058. doi : 10.9717/kmms.2021.24.8.1044. ISSN  1229-7771.
  55. ^ Фрага-Ламас, Паула; Фернандес-Карамес, Тиаго М. (2019-10-20). «Фейковые новости, дезинформация и дипфейки: использование технологий распределенного реестра и блокчейна для борьбы с цифровым обманом и поддельной реальностью». IT Professional . 22 (2): 53–59. arXiv : 1904.05386 . doi :10.1109/MITP.2020.2977589.
  56. ^ Ки Чан, Кристофер Чан; Кумар, Вимал; Делани, Стивен; Гочу, Мунхджаргал (сентябрь 2020 г.). «Борьба с дипфейками: Multi-LSTM и блокчейн как доказательство подлинности цифровых медиа». Международная конференция IEEE / МСЭ по искусственному интеллекту во благо (AI4G) 2020 г. стр. 55–62. doi : 10.1109/AI4G50087.2020.9311067. ISBN 978-1-7281-7031-2. S2CID  231618774.
  57. ^ Миттал, Триша; Бхаттачарья, Уттаран; Чандра, Рохан; Бера, Аникет; Маноча, Динеш (12.10.2020), «Эмоции не лгут: метод обнаружения аудиовизуальных дипфейков с использованием аффективных сигналов», Труды 28-й Международной конференции ACM по мультимедиа , Нью-Йорк, США: Ассоциация вычислительной техники, стр. 2823–2832, doi : 10.1145/3394171.3413570, ISBN 978-1-4503-7988-5, S2CID  220935571 , получено 2022-06-29
  58. ^ Conti, Emanuele; Salvi, Davide; Borrelli, Clara; Hosler, Brian; Bestagini, Paolo; Antonacci, Fabio; Sarti, Augusto; Stamm, Matthew C.; Tubaro, Stefano (2022-05-23). ​​«Обнаружение поддельной речи с помощью распознавания эмоций: семантический подход». ICASSP 2022 - 2022 IEEE Международная конференция по акустике, речи и обработке сигналов (ICASSP) . Сингапур, Сингапур: IEEE. стр. 8962–8966. doi : 10.1109/ICASSP43922.2022.9747186. hdl : 11311/1220518. ISBN 978-1-6654-0540-9. S2CID  249436701.
  59. ^ Хослер, Брайан; Сальви, Давиде; Мюррей, Энтони; Антоначчи, Фабио; Бестагини, Паоло; Тубаро, Стефано; Штамм, Мэтью К. (июнь 2021 г.). «Вызывают ли дипфейки эмоции? Семантический подход к обнаружению дипфейков с помощью эмоциональных несоответствий». Конференция IEEE/CVF 2021 года по компьютерному зрению и распознаванию образов (CVPRW) . Нэшвилл, Теннесси, США: IEEE. стр. 1013–1022. doi : 10.1109/CVPRW53098.2021.00112. hdl : 11311/1183572. ISBN 978-1-6654-4899-4. S2CID  235679849.
  60. ^ Мюллер, Николас М.; Чемпин, Павел; Дикманн, Франциска; Фрогьяр, Адам; Бёттингер, Константин (21 апреля 2022 г.). «Обобщает ли обнаружение аудио-дипфейков?». arXiv : 2203.16263 [cs.SD].
  61. ^ Чжан, Ю; Цзян, Фэй; Дуань, Чжияо (2021). «Одноклассовое обучение для обнаружения синтетической голосовой подделки». IEEE Signal Processing Letters . 28 : 937–941. arXiv : 2010.13995 . Bibcode : 2021ISPL...28..937Z. doi : 10.1109/LSP.2021.3076358. ISSN  1558-2361. S2CID  235077416.
  62. ^ ab "SAM.gov". sam.gov . Получено 2022-06-29 .
  63. ^ "Программа SemaFor". www.darpa.mil . Получено 01.07.2022 .
  64. ^ "Программа DARPA MediFor". govtribe.com . Получено 29.06.2022 .
  65. ^ "Программа MediFor". www.darpa.mil . Получено 01.07.2022 .
  66. ^ "DARPA объявляет о выборе исследовательских групп для программы семантической криминалистики". www.darpa.mil . Получено 01.07.2022 .
  67. ^ "PREMIER". sites.google.com . Получено 2022-07-01 .
  68. ^ "PREMIER - Project". sites.google.com . Получено 2022-06-29 .
  69. ^ Берд, Джордан Дж.; Лотфи, Ахмад (2023). «Обнаружение в реальном времени речи, сгенерированной ИИ, для преобразования голоса в DeepFake». arXiv : 2308.12734 [cs.SD].
  70. ^ Ямагиси, Дзюнъити; Ван, Синь; Тодиско, Массимилиано; Сахидулла, Мэриленд; Патино, Хосе; Науч, Андреас; Лю, Сюэчэнь; Ли, Конг Айк; Киннунен, Томи; Эванс, Николас; Дельгадо, Эктор (01 сентября 2021 г.). «ASVspoof 2021: ускорение прогресса в обнаружении поддельной и глубокой речи». arXiv : 2109.00537 [eess.AS].
  71. ^ "Обнаружение аудиодипфейков: ICASSP 2022". IEEE Signal Processing Society . 2021-12-17 . Получено 2022-07-01 .
  72. ^ Йи, Цзянъянь; Фу, Руибо; Тао, Цзяньхуа; Не, Шуай; Ма, Хаосинь; Ван, Чэнлун; Ван, Тао; Тянь, Чжэнкунь; Бай, Е; Фан, Куньханг; Лян, Шан (26 февраля 2022 г.). «ADD 2022: первая задача по обнаружению глубокого синтеза звука». arXiv : 2202.08433 [cs.SD].
  73. ^ "Совместный семинар для Blizzard Challenge и Voice Conversion Challenge 2020 - SynSIG". www.synsig.org . Архивировано из оригинала 2022-07-02 . Получено 2022-07-01 .