Аудиосинтезатор с машинным обучением
NSynth ( вариант от «Neural Synthesis») — это автокодировщик на основе WaveNet для синтеза звука, описанный в статье, опубликованной в апреле 2017 года. [1]
Обзор
Модель генерирует звуки посредством синтеза на основе нейронной сети , используя автоэнкодер в стиле WaveNet для изучения собственных временных вложений из четырех разных звуков. [2] [3] Затем Google выпустила аппаратный интерфейс с открытым исходным кодом для алгоритма под названием NSynth Super, [4] который использовался известными музыкантами, такими как Граймс и YACHT , для создания экспериментальной музыки с использованием искусственного интеллекта. [5] [6] Исследование и разработка алгоритма были частью сотрудничества Google Brain , Magenta и DeepMind . [7]
Технологии
Набор данных
Набор данных NSynth состоит из 305 979 одноразовых инструментальных нот с уникальной высотой звука, тембром и огибающей, взятых из 1006 инструментов из коммерческих библиотек семплов. [8] Для каждого инструмента набор данных содержит четырехсекундные аудиофрагменты с частотой 16 кГц, ранжированные по каждой высоте стандартного MIDI- пианино, а также пять различных значений силы нажатия. [9] Набор данных доступен по лицензии Creative Commons Attribution 4.0 International (CC BY 4.0) . [10]
Модель машинного обучения
Модель спектрального автокодировщика и модель автокодировщика WaveNet находятся в публичном доступе на GitHub . [11] Базовая модель использует спектрограмму с fft_size 1024 и hop_size 256, потерями MSE в величинах и алгоритмом Гриффина-Лима для реконструкции. Модель WaveNet обучается на фрагментах сигнала, закодированных по мю-закону, размером 6144. Она изучает вложения с 16 измерениями, которые уменьшаются по времени на 512. [12]
НСинт Супер
В 2018 году Google выпустила аппаратный интерфейс для алгоритма NSynth, названный NSynth Super , предназначенный для предоставления доступного физического интерфейса к алгоритму, который музыканты могут использовать в своих творческих произведениях. [13] [14]
Файлы дизайна, исходный код и внутренние компоненты выпускаются под лицензией Apache с открытым исходным кодом 2.0 , [15] что позволяет любителям и музыкантам свободно создавать и использовать инструмент. [16] В основе NSynth Super лежит Raspberry Pi , дополненный специальной печатной платой для размещения элементов интерфейса. [17]
Влияние
Несмотря на то, что NSynth Super не был публично доступен в качестве коммерческого продукта, он использовался известными артистами, включая Grimes и YACHT . [18] [19]
Граймс сообщила, что использовала этот инструмент в своем студийном альбоме 2020 года Miss Anthropocene . [5]
YACHT объявили о широком использовании NSynth Super в своем альбоме Chain Tripping . [20]
Клэр Л. Эванс сравнила потенциальное влияние инструмента с Roland TR-808 . [21]
Дизайн NSynth Super был удостоен награды D&AD Yellow Pencil в 2018 году .
Рекомендации
- ^ Энгель, Джесси; Резник, Синджон; Робертс, Адам; Дилеман, Сандер; Эк, Дуглас; Симонян, Карен; Норузи, Мохаммед (2017). «Нейронный аудиосинтез музыкальных нот с помощью автоэнкодеров WaveNet». arXiv : 1704.01279 [cs.LG].
- ^ Энгель, Джесси; Резник, Синджон; Робертс, Адам; Дилеман, Сандер; Эк, Дуглас; Симонян, Карен; Норузи, Мохаммед (2017). «Нейронный аудиосинтез музыкальных нот с помощью автоэнкодеров WaveNet». исследование.google . arXiv : 1704.01279 .
- ^ Аарон ван ден Оорд; Дилеман, Сандер; Дзен, Хейга; Симонян, Карен; Виньялс, Ориол; Грейвс, Алекс; Кальхбреннер, Нал; Старший, Эндрю; Кавукчуоглу, Корай (2016). «WaveNet: генеративная модель для необработанного аудио». arXiv : 1609.03499 [cs.SD].
- ^ «Нейронный синтезатор Google с открытым исходным кодом создает совершенно новые звуки» . Проводная Великобритания .
- ^ ab «73 | Граймс (с) о музыке, творчестве и цифровых личностях - Шон Кэрролл». www.preposterousuniverse.com .
- ^ Маттис, Натан (31 августа 2019 г.). «Как YACHT загрузили в машину свою старую музыку и получили потрясающий новый альбом». Арс Техника . Проверено 8 ноября 2022 г.
- ^ «NSynth: нейронный синтез звука». Пурпурный . 6 апреля 2017 г.
- ^ "Набор данных NSynth" . Наборы данных машинного обучения . Проверено 8 ноября 2022 г.
- ^ Рамирес, Антониу; Серра, Ксавье (2019). «Увеличение данных для классификации инструментов, устойчивой к звуковым эффектам». arXiv : 1907.08520 [cs.SD].
- ^ "Набор данных NSynth" . tensorflow.org . 5 апреля 2017 г.
- ^ «NSynth: нейронный синтез звука». Гитхаб .
- ^ Энгель, Джесси; Резник, Синджон; Робертс, Адам; Дилеман, Сандер; Эк, Дуглас; Симонян, Карен; Норузи, Мохаммед (2017). «Нейронный аудиосинтез музыкальных нот с помощью автоэнкодеров WaveNet». arXiv : 1704.01279 [cs.LG].
- ^ «NSynth Super — это синтезатор с сенсорным экраном на базе искусственного интеллекта» . Грань . 13 марта 2018 г.
- ^ «Google создал музыкальный инструмент, использующий искусственный интеллект, и опубликовал планы, чтобы вы могли сделать свой собственный». CNBC . 13 марта 2018 г.
- ^ "googlecreativelab/open-nsynth-super". 1 апреля 2021 г. — через GitHub.
- ^ «Откройте NSynth Super». hackaday.io . Проверено 8 ноября 2022 г.
- ^ "Оборудование NSYNTH SUPER" . Гитхаб .
- ^ Маттис, Натан. «Как YACHT использовали машинное обучение для создания своего нового альбома». Проводной . ISSN 1059-1028 . Проверено 19 января 2023 г.
- ^ «История на обложке: Граймс готов сыграть злодея» . Журнал «Крэк» . Проверено 19 января 2023 г.
- ^ «Чему машинное обучение научило группу YACHT о себе» . Лос-Анджелесено . 18 сентября 2019 г. Проверено 19 января 2023 г.
- ^ Музыка и машинное обучение (Google I/O'19) , получено 19 января 2023 г.
- ^ «NSynth Super | Google Creative Lab | Google | Победитель конкурса карандашей D&AD Awards 2018 | Интерактивный дизайн для продуктов | D&AD» . www.dandad.org . Проверено 19 января 2023 г.
дальнейшее чтение
- Энгель, Джесси; Резник, Синджон; Робертс, Адам; Дилеман, Сандер; Эк, Дуглас; Симонян, Карен; Норузи, Мохаммед (2017). «Нейронный аудиосинтез музыкальных нот с помощью автоэнкодеров WaveNet». arXiv : 1704.01279 [cs.LG].
Внешние ссылки
- Официальный сайт Nsynth Super
- Официальный сайт Мадженты
- Эмуляция алгоритма Nsynth в браузере