stringtranslate.com

ElevenLabs

ElevenLabs — компания-разработчик программного обеспечения, специализирующаяся на разработке программного обеспечения для синтеза естественной речи с использованием глубокого обучения .

Она была признана одной из основных компаний, стоящих за продолжающимся бумом ИИ . [1]

История

ElevenLabs была основана в 2022 году Петром Домбковским, бывшим инженером по машинному обучению Google , и Матеушем Станишевским, бывшим стратегом развертывания Palantir . [2] Оба выросли в Польше, и, как сообщается, вдохновением для основания ElevenLabs они послужили просмотры плохо дублированных американских фильмов. [3] [4]

Домбковски и Станишевски изначально рассматривали различные варианты финансирования, включая возможность сотрудничества с акселератором стартапов. В январе 2023 года они сообщили, что получили предварительный раунд в размере 2 миллионов долларов. Специализация стартапа на голосовом интеллекте ИИ, все еще формирующейся области в Европе, сыграла значительную роль в привлечении инвесторов. Предварительное финансирование в основном осуществлялось Credo Ventures, к которому присоединилась Concept Ventures. [5]

В январе 2023 года ElevenLabs публично выпустила свою бета-версию платформы . [6]

В июне 2023 года ElevenLabs привлекла $19 млн в рамках раунда финансирования серии A при оценке около $100 млн, [7] [8] несмотря на то, что у компании не было офиса и было всего 15 сотрудников. [4] [8] Раунд финансирования совместно возглавляли венчурная фирма Andreessen Horowitz , бывший генеральный директор GitHub Нэт Фридман и предприниматель Дэниел Гросс . В нем также приняли участие такие известные личности, как SV Angel , Майк Кригер (соучредитель Instagram), Брендан Ирибе (соучредитель Oculus), Мустафа Сулейман (соучредитель Deepmind) и Тим О'Рейли (основатель O'Reilly Media). Также было объявлено, что Andreessen Horowitz войдет в совет директоров ElevenLabs. [3]

22 января 2024 года ElevenLabs привлекла дополнительно $80 млн в рамках финансирования серии B , увеличив общую оценку компании до $1,1 млрд. Раунд финансирования возглавили Andreessen Horowitz, Friedman, Gross и Sequoia Capital . Кроме того, компания анонсировала ряд новых продуктов, включая Voice Marketplace, AI Dubbing Studio и мобильное приложение. [9]

Продукция

ElevenLabs в первую очередь известна своим браузерным программным обеспечением для преобразования текста в речь с помощью искусственного интеллекта Speech Synthesis, которое может воспроизводить реалистичную речь, синтезируя голосовые эмоции и интонацию . [10] Компания заявляет, что ее модели обучены интерпретировать контекст в тексте и соответствующим образом корректировать интонацию и темп. [11] Она использует передовые алгоритмы для анализа контекстных аспектов текста, стремясь обнаружить такие эмоции, как гнев, грусть, счастье или тревога, что позволяет системе понимать настроение пользователя, [12] что приводит к достижению более реалистичной и человеческой интонации. Стартап находится в процессе патентования этой технологии. [5] На своем бета-сайте пользователи могут отправлять текст и генерировать аудиофайлы из набора голосов по умолчанию. Платным пользователям предоставляется возможность загружать собственные образцы голоса для создания новых вокальных стилей с помощью инструмента клонирования голоса компании. [13]

Voice Library — это функция компании для обмена уникальными голосовыми профилями, созданными с помощью их технологии Voice Design. Эти предварительно разработанные голосовые профили позволяют пользователям выбирать голос, который лучше всего соответствует их потребностям, а не создавать его с нуля. [14] Сейчас в библиотеке более 1000 голосов, созданных сообществом. Другой инструмент под названием VoiceLab позволяет пользователям клонировать голоса всего из нескольких коротких фрагментов аудио и может создавать совершенно новые синтетические голоса. [3]

20 июня 2023 года компания ElevenLabs выпустила инструмент распознавания ИИ под названием AI Speech Classifier, который, по ее словам, является первым в своем роде. [3] Инструмент доступен через API и предназначен для определения того, исходит ли загруженный аудиообразец из собственной технологии ИИ компании ElevenLabs. [4] Компания выразила намерение сотрудничать с другими разработчиками ИИ для создания универсальной системы обнаружения, которая может быть принята во всей отрасли. [15]

В июле 2023 года ElevenLabs анонсировала «Проекты» — инструмент для создания длинного устного контента, такого как аудиокниги и диалоговые сегменты с контекстно-зависимыми синтетическими или пользовательскими голосами. [4] [16] Инструмент был выпущен в сентябре. В августе ElevenLabs расширила свои возможности генерации голоса до 28 языков. Используя внутреннюю модель ИИ, она автоматически определяет такие языки, как корейский , голландский и вьетнамский , что позволяет генерировать «эмоционально насыщенную» многоязычную речь. Компания также объявила, что ее технология официально вышла из фазы бета-тестирования . [17] [18]

В октябре 2023 года ElevenLabs представила «AI Dubbing» — инструмент, способный переводить речь на более чем 20 языков. Функция способна сохранять оригинальный голос, эмоции и интонацию говорящего, используя запатентованные методы для решения таких задач, как удаление шума, дифференциация говорящего, транскрипция и синхронизация переведенной речи с исходным звуком. [19]

В мае 2024 года ElevenLabs запустила модель преобразования текста в музыку . [20] В июне 2024 года ElevenLabs выпустила приложение ElevenLabs Reader для iOS и Android, которое позволяет пользователям прослушивать статьи, PDF-файлы и ePub-файлы с помощью голосов AI на своем телефоне. [21] В июле 2024 года ElevenLabs выпустила «Voice Isolator», который удаляет фоновый шум из аудио. [22]

Использует

Варианты использования ElevenLabs охватывают целый ряд секторов.

Создатели контента использовали ElevenLabs для подкастов, озвучивания и комедийных шоу. [23] [24] [25] В марте 2023 года комик Дрю Кэри использовал инструмент клонирования голоса ElevenLabs, чтобы воссоздать свой голос для эпизода своего радиошоу Friday Night Freakout . [11] В апреле 2023 года польский теле- и радиоведущий Ярослав Кузняр использовал синтезированную версию своего голоса для выпуска серии подкастов о российском вторжении в Украину . [26] Сет Годин также использовал ElevenLabs для озвучивания своего подкаста, посвященного искусственному интеллекту. [3]

Тим Грин , бывший игрок НФЛ и автор, использует технологию клонирования голоса на основе искусственного интеллекта ElevenLabs для своего подкаста «Ничего не сказано Тимом Грином». [27] У Грина диагностирована медленно прогрессирующая форма бокового амиотрофического склероза , и его способность общаться вербально была нарушена. Технология искусственного интеллекта позволяет ему вести и участвовать в глубоких беседах с различными гостями, используя клонированную версию своего голоса из более ранних записей. Это инновационное использование технологии ElevenLabs позволяет Грину продолжать участвовать в важных дискуссиях, несмотря на его состояние.

В марте 2023 года Super-Hi-Fi, служба автоматизации потоковой передачи, объединилась с ElevenLabs для запуска полностью автоматизированной радиослужбы под названием «AI Radio», используя программное обеспечение ElevenLabs для озвучивания своего виртуального диджея с помощью подсказок, сгенерированных с помощью ChatGPT . [28] ElevenLabs также использовалась для озвучивания игр и игровых персонажей в партнерстве со шведским разработчиком игр Paradox Interactive и базирующейся в Великобритании Magicave. [3] [29]

Издатели и авторы использовали ElevenLabs для озвучивания аудиокниг и информационных бюллетеней. [5] [30] 13 июня 2023 года Storytel объявила об эксклюзивном партнерстве с ElevenLabs. Благодаря этому сотрудничеству ElevenLabs будет создавать голоса, специально адаптированные для основных рынков Storytel, и производить аудиокниги с озвучиванием с помощью ИИ. Была реализована функция изменения голоса под названием VoiceSwitcher для улучшения персонализации пользователей, предоставляя уникальные возможности прослушивания, настроенные для каждого человека. [31] [32]

ElevenLabs использовался для создания аудио для дубляжа видео на разных языках, в том числе создателями контента. [5] [8] Платформа имеет возможность точно воспроизводить практически любой акцент на любом языке. [33] Поклонники знаменитостей использовали ElevenLabs для создания вдохновляющих сообщений, используя голоса своих любимых знаменитостей. [34]

В феврале репортер VICE Джозеф Кокс опубликовал результаты исследования, согласно которым он записал пять минут своего разговора, а затем использовал ElevenLabs для создания поддельных голосов, которые обошли систему голосовой аутентификации банка . [35]

В июле представительница США Дженнифер Векстон воспользовалась услугами ElevenLabs для создания копии своего голоса после потери голоса из-за прогрессирующего надъядерного паралича (ПНП), похожего на болезнь Паркинсона. [36]

ElevenLabs устанавливает четкие правила относительно использования своей технологии, запрещая клонирование голосов в оскорбительных целях, таких как мошенничество, дискриминация, разжигание ненависти или оскорбления в Интернете, хотя она поддерживает использование своей платформы для «карикатуры, пародии и сатиры» и «художественной и политической речи, способствующей публичным дебатам». Компания заявляет о своих полномочиях приостанавливать действия учетных записей и контента пользователей, уличенных в нарушении этих правил, а также подчеркивает свою приверженность сотрудничеству с властями и сообщению о любой незаконной деятельности в соответствии с действующим законодательством. [3] В январе компания признала, что ее платформа использовалась для «дел о неправомерном использовании клонирования голоса» [37] и ужесточила меры защиты от недобросовестного использования своей технологии. [38]

Прием

После запуска в январе 2023 года ElevenLabs быстро набрал обороты и получил высокую оценку за качество голосового вывода, быстрое время генерации и «щедрый бесплатный уровень». Его также хвалили за его способность точно произносить имена с уникальным или необычным произношением, устраняя распространенный недостаток в подобных инструментах, которые часто ориентированы в первую очередь на западные имена. [39] Компания достигла более миллиона зарегистрированных пользователей между запуском и июнем 2023 года. [3] [4] [40]

Критика и споры

ElevenLabs подверглась критике после того, как пользователи смогли злоупотребить ее программным обеспечением для генерации спорных заявлений в вокальном стиле знаменитостей, государственных должностных лиц и других известных личностей, [41] [42] [43] [44] [38] особенно привлекая внимание после того, как пользователи на 4chan использовали инструмент для обмена оскорбительными сообщениями. [45] [15] Способность программного обеспечения точно воспроизводить реальные голоса вызвала этические проблемы , и критики сравнили это с дипфейком . [46] В ответ компания заявила, что будет работать над смягчением потенциальных злоупотреблений с помощью мер безопасности и проверки личности . [6] Впоследствии компания ограничила доступ к своей функции клонирования голоса для платных подписчиков, [47] сославшись на требование предоставлять платежную информацию как средство повышения ответственности, [48] и ввела запреты для пользователей, которые неоднократно нарушают условия обслуживания.

В преддверии демократических праймериз в Нью-Гемпшире в январе 2024 года тысячи жителей получили автоматические звонки, сгенерированные искусственным интеллектом, якобы от Джо Байдена, призывающего избирателей пропустить голосование в день праймериз. Генеральная прокуратура Нью-Гемпшира начала расследование инцидента и связала его с компанией, базирующейся в Техасе, а эксперты по аудио пришли к выводу, что звонок был сделан с помощью ElevenLabs. В ответ на инцидент генеральный директор Мати Станишевски заявил, что компания «стремится предотвратить неправомерное использование аудиоинструментов искусственного интеллекта», но не прокомментировал конкретные инциденты. [49]

Дополнительные опасения были высказаны по поводу этики источника данных для обучения ElevenLabs, поскольку несколько актеров озвучивания утверждали, что ElevenLabs использовала образцы их голосов без их согласия. [50] Таким образом, ElevenLabs, наряду с другими компаниями в своей категории, рассматривается как потенциальный вызов сектору озвучивания. [18]

Смотрите также

Ссылки

  1. ^ Канеткар, Каллум Берроуз, Риддхи. «FOMO реален для венчурных капиталистов, которые платят большие премии за инвестиции в стартапы в сфере ИИ прямо сейчас». Business Insider . Получено 10 декабря 2023 г.{{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
  2. ^ Канеткар, Риддхи. «Этот стартап, основанный бывшими сотрудниками Google и Palantir, использует ИИ для создания реалистичной озвучки. Вот 14-слайдовая презентация, которую ElevenLabs использовала для привлечения 2 миллионов долларов». Business Insider . Получено 9 февраля 2023 г.
  3. ^ abcdefgh "А теперь послушайте: стартап ElevenLabs, занимающийся клонированием голоса, получил $19 млн от a16z и других крупных игроков". VentureBeat . 20 июня 2023 г. Получено 25 июля 2023 г.
  4. ^ abcde Wiggers, Kyle (20 июня 2023 г.). «Платформа генерации голоса ElevenLabs привлекает $19 млн, запускает инструмент обнаружения». TechCrunch . Получено 25 июля 2023 г. .
  5. ^ abcd Канеткар, Риддхи. «Горячий стартап в области искусственного интеллекта ElevenLabs, основанный бывшими сотрудниками Google и Palantir, собирается привлечь $18 млн при оценке в $100 млн. Ознакомьтесь с презентацией из 14 слайдов, которую он использовал для своего предварительного посева на $2 млн». Business Insider . Получено 25 июля 2023 г.
  6. ^ ab "Новый инструмент искусственного интеллекта уже используется для создания поддельных аудиоклипов знаменитостей". Engadget . Получено 3 февраля 2023 г. .
  7. ^ «Испытания и невзгоды голосовых технологий ИИ». Financial Times . 21 июня 2023 г. Получено 25 июля 2023 г.
  8. ^ abc Хант, Саймон (20 июня 2023 г.). «Компания ElevenLabs, занимающаяся разработкой искусственного интеллекта, достигла оценки в 100 миллионов долларов в течение нескольких месяцев после запуска». Evening Standard . Получено 25 июля 2023 г.
  9. ^ «ElevenLabs выпускает новые голосовые продукты AI и привлекает $80 млн в рамках серии B». 22 января 2024 г.
  10. ^ "Генеративный ИИ приходит в кинодубляж: стартап Audio AI ElevenLabs привлекает предварительные инвестиции". Просеяно . 23 января 2023 г. Получено 3 февраля 2023 г.
  11. ^ ab Ashworth, Boone (12 апреля 2023 г.). «ИИ может клонировать голос вашего любимого ведущего подкаста». Wired . Получено 25 апреля 2023 г. .
  12. ^ Сотрудники WIRED. «Этот подкаст не размещен клонами голоса ИИ. Мы клянемся». Wired . ISSN  1059-1028 . Получено 25 июля 2023 г.
  13. ^ Фрауэнфельдер, Марк (12 января 2023 г.). «Программное обеспечение позволяет вам разрабатывать новые синтетические голоса с нуля». Boing Boing . Получено 3 февраля 2023 г. .
  14. ^ «Поскольку генеративный ИИ набирает обороты, этот британский стартап получает $2 млн на имитацию человеческих голосов — TFN». Tech Funding News . 25 января 2023 г. . Получено 5 февраля 2023 г. .
  15. ^ ab Томпсон, Стюарт А. (12 марта 2023 г.). «Создание дипфейков становится дешевле и проще благодаря ИИ» The New York Times . ISSN  0362-4331 . Получено 25 июля 2023 г.
  16. ^ Бонк, Лоуренс. «Мощный новый инструмент искусственного интеллекта ElevenLabs позволяет вам создать полноценную аудиокнигу за считанные минуты». Lifewire . Получено 25 июля 2023 г.
  17. ^ «Голосовой генератор искусственного интеллекта ElevenLabs теперь может подделывать ваш голос на 30 языках». Gizmodo . 22 августа 2023 г. Получено 25 сентября 2023 г.
  18. ^ ab Wiggers, Kyle (22 августа 2023 г.). «ElevenLabs' voice-generating tools launch out of beta». TechCrunch . Получено 25 сентября 2023 г. .
  19. ^ Шарма, Шубхам (10 октября 2023 г.). «ElevenLabs представляет AI Dubbing, переводя видео и аудио на 20 языков». VentureBeat . Получено 28 ноября 2023 г.
  20. ^ Моррисон, Райан (10 мая 2024 г.). «ElevenLabs запускает новый музыкальный генератор на основе искусственного интеллекта — и вам нужно послушать эти клипы, чтобы оценить его». Tom's Guide . Получено 14 мая 2024 г.
  21. ^ "ElevenLabs запускает Reader, приложение для преобразования текста в аудио". Maginative . 25 июня 2024 г. Получено 24 июля 2024 г.
  22. ^ Шарма, Шубхам (4 июля 2024 г.). «ElevenLabs запускает бесплатный изолятор голоса на основе искусственного интеллекта, чтобы составить конкуренцию Adobe». VentureBeat . Получено 24 июля 2024 г.
  23. ^ Ниббс, Кейт. «Подкасты о генеративном ИИ уже здесь. Приготовьтесь к скуке». Wired . ISSN  1059-1028 . Получено 25 июля 2023 г.
  24. ^ Сучиу, Питер. «Пародия на «Arrested Succession» на YouTube содержит «закадровый текст» Рона Ховарда, созданный с помощью искусственного интеллекта». Forbes . Получено 25 июля 2023 г.
  25. ^ Фадулу, Лола (6 июля 2023 г.). «Может ли ИИ быть смешным? Так думает эта труппа». The New York Times . ISSN  0362-4331 . Получено 25 июля 2023 г.
  26. ^ "Sztuczna inteligencja czyta głosem Jarosława Kuźniara. Rewolucja w radiu i podcastach" . Press.pl (на польском языке). 9 апреля 2023 г. . Проверено 25 апреля 2023 г.
  27. ^ «Ничто не осталось недосказанным Тима Грина».
  28. ^ Маклейн, Пол (29 марта 2023 г.). «AI Radio демонстрирует партнерство с AI». Radioworld . Получено 25 апреля 2023 г. .
  29. ^ "Magicave анонсирует игру Beneath The Six с ИИ-рассказчиком". VentureBeat . 6 июля 2023 г. Получено 26 июля 2023 г.
  30. ^ «Компания, занимающаяся созданием голосов с помощью искусственного интеллекта, принимает меры после того, как 4chan использует голоса знаменитостей для злоупотреблений». www.vice.com . 30 января 2023 г. . Получено 3 февраля 2023 г. .
  31. ^ Андерсон, Портер (13 июня 2023 г.). «'AI Voices' in Audiobooks: Storytel in ElevenLabs Partnership». Перспективы публикации . Получено 25 июля 2023 г.
  32. ^ «Storytel вступает в стратегическое партнерство с ElevenLabs и объявляет о предстоящем запуске новой функции VoiceSwitcher». Bloomberg.com . 13 июня 2023 г. Получено 25 июля 2023 г.
  33. ↑ Wise, James (30 июня 2023 г.). «Представьте, что ваш ребенок просит денег. Только это не он — это мошенничество с использованием искусственного интеллекта». The Guardian . ISSN  0261-3077 . Получено 25 июля 2023 г. .
  34. ^ Хантер-Тилни, Людовик (27 мая 2023 г.). «Может ли ИИ сделать меня звездой мюзикла?». Financial Times . Получено 25 июля 2023 г.
  35. ^ Ньюман, Лили Хей. «Голосовые Deepfakes, созданные с помощью ИИ, пока не так уж и хороши». Wired . ISSN  1059-1028 . Получено 25 июля 2023 г. .
  36. ^ Эрик Хэл Шварц (15 июля 2024 г.). «Конгрессмен США потеряла голос из-за болезни, теперь ИИ вернул его». TechRadar . Получено 24 июля 2024 г.
  37. ↑ Херн, Алекс; Милмо, Дэн (24 февраля 2023 г.). «Все, что вы хотели знать об ИИ, но боялись спросить». The Guardian . ISSN  0261-3077 . Получено 25 июля 2023 г.
  38. ^ ab Milmo, Dan; Hern, Alex (20 мая 2023 г.). «Выборы в Великобритании и США находятся под угрозой из-за дезинформации, распространяемой с помощью искусственного интеллекта, говорят эксперты». The Guardian . ISSN  0261-3077 . Получено 25 июля 2023 г. .
  39. ^ Десаи, Саахил (17 июля 2023 г.). «Голосовой бот просто лишил меня дара речи». The Atlantic . Получено 25 сентября 2023 г. .
  40. ^ «Ваш клон ИИ может обмануть семью, ваш банк, но не вашу видеоконференцию — Технический брифинг — Подкасты WSJ». WSJ . Получено 25 июля 2023 г. .
  41. ^ Хименес, Хорхе (31 января 2023 г.). «Компания ИИ обещает изменения после того, как инструмент «клонирования голоса» использовался, чтобы заставить знаменитостей говорить ужасные вещи». PC Gamer . Получено 3 февраля 2023 г.
  42. ^ "Люди по-прежнему ужасны: инструмент клонирования голоса на основе искусственного интеллекта используется для создания поддельных клипов знаменитостей". PCMag Middle East . 31 января 2023 г. Получено 25 июля 2023 г.
  43. ^ «Интернет в ярости, так как пользователь 4Chan использует голосовой симулятор на основе искусственного интеллекта, чтобы подделать голос Эммы Уотсон и заставить ее прочитать автобиографию Гитлера – FandomWire». fandomwire.com . 2 февраля 2023 г. . Получено 3 февраля 2023 г. .
  44. ^ "Гонка программного обеспечения генеративного ИИ началась". Fortune . Получено 3 февраля 2023 г.
  45. ^ Винсент, Джеймс (31 января 2023 г.). «Пользователи 4chan используют инструмент клонирования голоса ИИ для генерации разжигания ненависти к знаменитостям». The Verge . Получено 3 февраля 2023 г.
  46. ^ «Увидеть — значит поверить? Глобальная борьба с дипфейками». news.yahoo.com . Получено 3 февраля 2023 г. .
  47. ^ @elevenlabsio (31 января 2023 г.). «Спасибо всем за советы. Нам нравится то, что вы создаете, но группа лиц использует наши технологии в вредоносных целях. Мы решили предпринять следующие шаги для решения проблем» ( Твит ) . Получено 25 апреля 2023 г. – через Twitter .
  48. ^ @elevenlabsio (31 января 2023 г.). «Это сохранит доступность наших инструментов и позволит нам бороться с возможным неправомерным использованием. Платежные реквизиты не всегда предотвращают злоупотребления, но они делают пользователей VoiceLab менее анонимными и заставляют их дважды подумать, прежде чем делиться ненадлежащим контентом» ( Твит ) . Получено 25 апреля 2023 г. – через Twitter .
  49. ^ Ниббс, Кейт. «Исследователи говорят, что фальшивый робозвонок Байдена, вероятно, был сделан с помощью инструментов стартапа ElevenLabs, занимающегося разработкой искусственного интеллекта». Wired . ISSN  1059-1028 . Получено 15 февраля 2024 г. .
  50. ^ «Ваши любимые актеры озвучивания критикуют сайты с искусственным интеллектом, копирующие голоса без согласия». Kotaku . 13 февраля 2023 г. Получено 10 декабря 2023 г.

Внешние ссылки