stringtranslate.com

НСинт

NSynth ( вариант от «Neural Synthesis») — это автокодировщик на основе WaveNet для синтеза звука, описанный в статье, опубликованной в апреле 2017 года. [1]

Обзор

Модель генерирует звуки посредством синтеза на основе нейронной сети , используя автоэнкодер в стиле WaveNet для изучения собственных временных вложений из четырех разных звуков. [2] [3] Затем Google выпустила аппаратный интерфейс с открытым исходным кодом для алгоритма под названием NSynth Super, [4] который использовался известными музыкантами, такими как Граймс и YACHT , для создания экспериментальной музыки с использованием искусственного интеллекта. [5] [6] Исследование и разработка алгоритма были частью сотрудничества Google Brain , Magenta и DeepMind . [7]

Технологии

Набор данных

Набор данных NSynth состоит из 305 979 одноразовых инструментальных нот с уникальной высотой звука, тембром и огибающей, взятых из 1006 инструментов из коммерческих библиотек семплов. [8] Для каждого инструмента набор данных содержит четырехсекундные аудиофрагменты с частотой 16 кГц, ранжированные по каждой высоте стандартного MIDI- пианино, а также пять различных значений силы нажатия. [9] Набор данных доступен по лицензии Creative Commons Attribution 4.0 International (CC BY 4.0) . [10]

Модель машинного обучения

Модель спектрального автокодировщика и модель автокодировщика WaveNet находятся в публичном доступе на GitHub . [11] Базовая модель использует спектрограмму с fft_size 1024 и hop_size 256, потерями MSE в величинах и алгоритмом Гриффина-Лима для реконструкции. Модель WaveNet обучается на фрагментах сигнала, закодированных по мю-закону, размером 6144. Она изучает вложения с 16 измерениями, которые уменьшаются по времени на 512. [12]

НСинт Супер

В 2018 году Google выпустила аппаратный интерфейс для алгоритма NSynth, названный NSynth Super , предназначенный для предоставления доступного физического интерфейса к алгоритму, который музыканты могут использовать в своих творческих произведениях. [13] [14]

Файлы дизайна, исходный код и внутренние компоненты выпускаются под лицензией Apache с открытым исходным кодом 2.0 , [15] что позволяет любителям и музыкантам свободно создавать и использовать инструмент. [16] В основе NSynth Super лежит Raspberry Pi , дополненный специальной печатной платой для размещения элементов интерфейса. [17]

Влияние

Несмотря на то, что NSynth Super не был публично доступен в качестве коммерческого продукта, он использовался известными артистами, включая Grimes и YACHT . [18] [19]

Граймс сообщила, что использовала этот инструмент в своем студийном альбоме 2020 года Miss Anthropocene . [5]

YACHT объявили о широком использовании NSynth Super в своем альбоме Chain Tripping . [20]

Клэр Л. Эванс сравнила потенциальное влияние инструмента с Roland TR-808 . [21]

Дизайн NSynth Super был удостоен награды D&AD Yellow Pencil в 2018 году .

Рекомендации

  1. ^ Энгель, Джесси; Резник, Синджон; Робертс, Адам; Дилеман, Сандер; Эк, Дуглас; Симонян, Карен; Норузи, Мохаммед (2017). «Нейронный аудиосинтез музыкальных нот с помощью автоэнкодеров WaveNet». arXiv : 1704.01279 [cs.LG].
  2. ^ Энгель, Джесси; Резник, Синджон; Робертс, Адам; Дилеман, Сандер; Эк, Дуглас; Симонян, Карен; Норузи, Мохаммед (2017). «Нейронный аудиосинтез музыкальных нот с помощью автоэнкодеров WaveNet». исследование.google . arXiv : 1704.01279 .
  3. ^ Аарон ван ден Оорд; Дилеман, Сандер; Дзен, Хейга; Симонян, Карен; Виньялс, Ориол; Грейвс, Алекс; Кальхбреннер, Нал; Старший, Эндрю; Кавукчуоглу, Корай (2016). «WaveNet: генеративная модель для необработанного аудио». arXiv : 1609.03499 [cs.SD].
  4. ^ «Нейронный синтезатор Google с открытым исходным кодом создает совершенно новые звуки» . Проводная Великобритания .
  5. ^ ab «73 | Граймс (с) о музыке, творчестве и цифровых личностях - Шон Кэрролл». www.preposterousuniverse.com .
  6. ^ Маттис, Натан (31 августа 2019 г.). «Как YACHT загрузили в машину свою старую музыку и получили потрясающий новый альбом». Арс Техника . Проверено 8 ноября 2022 г.
  7. ^ «NSynth: нейронный синтез звука». Пурпурный . 6 апреля 2017 г.
  8. ^ "Набор данных NSynth" . Наборы данных машинного обучения . Проверено 8 ноября 2022 г.
  9. ^ Рамирес, Антониу; Серра, Ксавье (2019). «Увеличение данных для классификации инструментов, устойчивой к звуковым эффектам». arXiv : 1907.08520 [cs.SD].
  10. ^ "Набор данных NSynth" . tensorflow.org . 5 апреля 2017 г.
  11. ^ «NSynth: нейронный синтез звука». Гитхаб .
  12. ^ Энгель, Джесси; Резник, Синджон; Робертс, Адам; Дилеман, Сандер; Эк, Дуглас; Симонян, Карен; Норузи, Мохаммед (2017). «Нейронный аудиосинтез музыкальных нот с помощью автоэнкодеров WaveNet». arXiv : 1704.01279 [cs.LG].
  13. ^ «NSynth Super — это синтезатор с сенсорным экраном на базе искусственного интеллекта» . Грань . 13 марта 2018 г.
  14. ^ «Google создал музыкальный инструмент, использующий искусственный интеллект, и опубликовал планы, чтобы вы могли сделать свой собственный». CNBC . 13 марта 2018 г.
  15. ^ "googlecreativelab/open-nsynth-super". 1 апреля 2021 г. — через GitHub.
  16. ^ «Откройте NSynth Super». hackaday.io . Проверено 8 ноября 2022 г.
  17. ^ "Оборудование NSYNTH SUPER" . Гитхаб .
  18. ^ Маттис, Натан. «Как YACHT использовали машинное обучение для создания своего нового альбома». Проводной . ISSN  1059-1028 . Проверено 19 января 2023 г.
  19. ^ «История на обложке: Граймс готов сыграть злодея» . Журнал «Крэк» . Проверено 19 января 2023 г.
  20. ^ «Чему машинное обучение научило группу YACHT о себе» . Лос-Анджелесено . 18 сентября 2019 г. Проверено 19 января 2023 г.
  21. ^ Музыка и машинное обучение (Google I/O'19) , получено 19 января 2023 г.
  22. ^ «NSynth Super | Google Creative Lab | Google | Победитель конкурса карандашей D&AD Awards 2018 | Интерактивный дизайн для продуктов | D&AD» . www.dandad.org . Проверено 19 января 2023 г.

дальнейшее чтение

Внешние ссылки