Искусственный интеллект и музыка ( AIM ) — общая тема Международной компьютерной музыкальной конференции , Конференции вычислительного общества [1] и Международной совместной конференции по искусственному интеллекту . Первая Международная компьютерная музыкальная конференция (ICMC) прошла в 1974 году в Мичиганском государственном университете . [2] Текущие исследования включают применение искусственного интеллекта в написании музыки , исполнении , теории и цифровой обработке звука .
Ключевой частью этой области является разработка музыкальных программ, использующих искусственный интеллект для создания музыки. [3] Как и в других областях, ИИ в музыке также моделирует умственные задачи. Важной особенностью является способность алгоритма ИИ обучаться на основе прошлых данных, например, в технологии компьютерного сопровождения, где ИИ способен слушать исполнителя-человека и выполнять аккомпанемент. [4] Искусственный интеллект также управляет технологией интерактивной композиции, при которой компьютер сочиняет музыку в ответ на живое выступление. Существуют и другие приложения искусственного интеллекта в музыке, которые охватывают не только сочинение, производство и исполнение музыки, но также то, как музыка продается и потребляется. Также было разработано несколько программ музыкальных проигрывателей, использующих технологию распознавания голоса и обработки естественного языка для голосового управления музыкой.
В 1960 году русский исследователь Рудольф Зарипов опубликовал первую в мире статью об алгоритмическом сочинении музыки с помощью компьютера « Урал-1 ». [5]
В 1965 году изобретатель Рэй Курцвейл представил фортепианную пьесу, созданную с помощью компьютера, способного распознавать образы в различных композициях. Затем компьютер смог проанализировать и использовать эти шаблоны для создания новых мелодий. Компьютер дебютировал в викторине « У меня есть секрет» и ставил ведущих в тупик, пока кинозвезда Генри Морган не разгадал секрет Рэя. [6]
В 1997 году программа искусственного интеллекта под названием «Эксперименты в музыкальном интеллекте» (EMI) превзошла человека-композитора при выполнении задачи сочинения музыкального произведения, имитирующего стиль Баха . [7]
Мультимедийные сценарии в интерактивных партитурах представлены временными объектами, временными отношениями и интерактивными объектами. Примерами временных объектов являются звуки, видео и элементы управления освещением. Временные объекты могут запускаться интерактивными объектами (обычно запускаемыми пользователем), при этом несколько временных объектов могут выполняться одновременно. Временный объект может содержать другие временные объекты: эта иерархия позволяет нам контролировать начало или конец временного объекта, управляя началом или концом его родителя. Иерархия всегда присутствует во всех видах музыки: музыкальные произведения часто иерархизируются по движениям, частям, мотивам, тактам и другим сегментациям. [8] [9]
Проект компьютерной музыки в CMU разрабатывает компьютерную музыку и технологии интерактивного исполнения, чтобы улучшить музыкальный опыт и творческие способности человека. Это междисциплинарное усилие опирается на теорию музыки , когнитивную науку , искусственный интеллект и машинное обучение , взаимодействие человека с компьютером , системы реального времени , компьютерную графику и анимацию, мультимедиа , языки программирования и обработку сигналов . [10]
ChucK, разработанный в Принстонском университете Ге Вангом и Перри Куком, представляет собой текстовый кроссплатформенный язык, который позволяет в реальном времени синтезировать, сочинять, исполнять и анализировать музыку. [11] Его используют SLOrk (Стэнфордский оркестр ноутбуков) [12] и PLOrk (Принстонский оркестр ноутбуков).
Jukedeck — это веб-сайт, который позволял людям использовать искусственный интеллект для создания оригинальной бесплатной музыки для использования в видеороликах. [13] [14] Команда начала создавать технологию генерации музыки в 2010 году, [15] сформировала вокруг нее компанию в 2012 году, [16] и запустила общедоступный веб-сайт в 2015 году. [14] Первоначально используемая технология была правилом. на основе системы алгоритмической композиции , [17] которая позже была заменена искусственными нейронными сетями . [13] На веб-сайте было создано более 1 миллиона музыкальных произведений, а его использовали такие бренды, как Coca-Cola , Google , UKTV и Музей естественной истории в Лондоне . [18] В 2019 году компанию приобрела ByteDance . [19] [20] [21]
MorpheuS [22] — исследовательский проект Дориена Херреманса и Элейн Чу из Лондонского университета Королевы Марии , финансируемый проектом Марии Склодовской-Кюри ЕС. Система использует подход к оптимизации, основанный на алгоритме поиска переменных окрестностей , для преобразования существующих фрагментов шаблона в новые фрагменты с заданным уровнем тонального напряжения, которое динамически меняется на протяжении всего фрагмента. Этот подход к оптимизации позволяет интегрировать метод обнаружения шаблонов, чтобы обеспечить долгосрочную структуру и повторяющиеся темы в создаваемой музыке. Произведения, сочиненные MorpheuS, исполнялись на концертах в Стэнфорде и Лондоне.
AIVA , созданная в феврале 2016 года в Люксембурге , представляет собой программу, создающую саундтреки для любых типов носителей. Алгоритмы, лежащие в основе AIVA, основаны на архитектуре глубокого обучения [23]. AIVA также использовалась для создания рок-трека под названием On the Edge , [24] , а также поп-мелодии Love Sick [25] в сотрудничестве с певицей Тарин Саузерн , [ 26] за создание своего альбома 2018 года «I am AI».
Команда Google Magenta опубликовала несколько музыкальных приложений и технических документов на базе искусственного интеллекта с момента их запуска в 2016 году. [27] В 2017 году они выпустили алгоритм и набор данных NSynth , [28] и аппаратный музыкальный инструмент с открытым исходным кодом , призванный облегчить музыкантам использование алгоритма. . [29] Этот инструмент использовался такими известными артистами, как Grimes и YACHT, в своих альбомах. [30] [31] В 2018 году они выпустили приложение для импровизации на фортепиано под названием Piano Genie. Позже за ним последовал Magenta Studio, набор из 5 MIDI-плагинов, которые позволяют музыкальным продюсерам дорабатывать существующую музыку в своих DAW. [32] В 2023 году их команда по машинному обучению опубликовала на Github технический документ, в котором описывался MusicLM, разработанный частный генератор текста в музыку. [33] [34]
Riffusion — это нейронная сеть , разработанная Сетом Форсгреном и Айком Мартиросом, которая генерирует музыку, используя образы звука, а не аудио. [35] Он был создан как доработка Stable Diffusion , существующей модели с открытым исходным кодом для генерации изображений из текстовых подсказок на спектрограммах . [35] В результате получается модель, которая использует текстовые подсказки для создания файлов изображений, которые можно подвергнуть обратному преобразованию Фурье и преобразовать в аудиофайлы. [36] Хотя длина этих файлов составляет всего несколько секунд, модель также может использовать скрытое пространство между выходными данными для интерполяции различных файлов вместе. [35] [37] Это достигается с помощью функциональности модели стабильной диффузии, известной как img2img . [38]
Получившаяся в результате музыка была описана как « de otro mundo » (потусторонняя), [39] хотя вряд ли она заменит музыку, созданную человеком. [39] Модель стала доступна 15 декабря 2022 года, а код также доступен в свободном доступе на GitHub . [36] Это одна из многих моделей, полученных на основе стабильной диффузии. [38]
Riffusion классифицируется как подмножество генераторов текста в музыку с использованием искусственного интеллекта. В декабре 2022 года Муберт [40] аналогичным образом использовал Stable Diffusion, чтобы превратить описательный текст в музыкальные циклы. В январе 2023 года Google опубликовала статью о собственном генераторе текста в музыку под названием MusicLM. [41] [42]Вопрос о том, кому принадлежат авторские права на музыкальную продукцию ИИ, остается неясным. Когда ИИ используется в качестве инструмента совместной работы в рамках творческого процесса человека, скорее всего, будут применяться действующие законы США об авторском праве. [43] Однако музыкальные произведения, созданные исключительно с помощью ИИ, не защищены авторскими правами. В «Сборнике практик Бюро регистрации авторских прав США» Управление авторских прав заявило, что оно не будет предоставлять авторские права на «произведения, авторство которых не принадлежит человеку» и «Ведомство не будет регистрировать произведения, созданные машиной или простым механическим процессом, который действует случайным образом или автоматически без любой творческий вклад или вмешательство человека-автора». [44] В феврале 2022 года Совет по рассмотрению авторских прав отклонил заявку на получение авторских прав на произведение искусства, созданное ИИ, на том основании, что оно «отсутствует необходимое человеческое авторство, необходимое для обоснования претензии в отношении авторских прав». [45]
Доктор Ларсон был обижен, когда аудитория пришла к выводу, что его произведение – простая и увлекательная форма, называемая изобретением из двух частей – было написано компьютером.
Но он почувствовал себя несколько успокоенным, когда слушатели решили, что изобретение, сочиненное EMI (произносится как «
Эмми
»), было подлинным Бахом.
{{cite journal}}: Требуется цитировать журнал |journal=( помощь )