UTAU — это японское приложение -синтезатор пения , созданное Ameya/Ayame (飴屋／菖蒲). Эта программа похожа на программное обеспечение VOCALOID , с той разницей, что она является условно-бесплатной, а не лицензирована третьей стороной.
В марте 2008 года Ameya/Ayame выпустила UTAU, бесплатное, расширенное программное обеспечение поддержки , которое можно было загрузить с ее основного сайта. UTAU (歌う), буквально означающее «петь» на японском языке, берет свое начало в деятельности «Jinriki Bōkaroido» (人力ボーカロイド, Manual Vocaloid) , где люди редактируют существующую голосовую дорожку, извлекают фонемы, регулируют высоту тона и собирают их заново для создания голоса в стиле Vocaloid . UTAU изначально был создан для помощи в этом процессе с помощью конкатенативного синтеза . UTAU может использовать файлы WAV, предоставленные пользователем, так что голос можно синтезировать, введя текст песни и мелодию. UTAU поставлялся с синтезатором голоса AQUEST "AquesTalk" для синтеза голосовых образцов из голосового банка по умолчанию Utane Uta (также известного как Defoko ( Defoko означает "Default Girl" на японском языке)) при первоначальном запуске, после чего генератор удаляет себя. Голоса, созданные для программы UTAU, также официально называются "UTAU", хотя в разговорной речи их называют "UTAUloids", что отсылает к VOCALOID. В Японии их также называют "голосовыми банками" (чаще в англоговорящих регионах) и "(голосовыми) библиотеками". Независимыми пользователями было разработано множество голосовых банков. Эти голосовые банки обычно распространяются напрямую от их создателей посредством загрузки из Интернета, но некоторые из них продаются как часть коммерческих проектов.
UTAU — это в основном японская программа, и поэтому многие из ее голосов созданы специально для японского языка. Однако, поскольку пользователи могут создавать свои собственные голосовые банки, пользовательская база разработала методы, позволяющие голосовым банкам петь на языках, отличных от японского. Формат X-SAMPA часто используется для английских или других неяпонских голосовых банков, однако иногда используются и другие фонетические системы, такие как ARPABET и любое количество пользовательских фонетических систем. [1]
Файлы проектов UTAU сохраняются под расширением ".ust" (Utau Sequence Text). Эти файлы можно свободно распространять, что позволяет разным UTAU петь одну и ту же пьесу. Продюсеры разработали несколько методов создания своих звуковых банков, и результаты для голосовых банков различаются из-за этого. [2] UTAU также поддерживает формат MIDI и формат .vsq.
Ameya/Ayame добавили поддержку Unicode в невыпущенной новой версии UTAU, согласно скриншотам, опубликованным в Twitter. Соответствующая поддержка backend tail fixed region, а также несколько других аудиокодировок уже выпущены, в то время как frontend поддержка еще не выпущена по состоянию на сентябрь 2020 года. Ameya также обновила UTAU для совместимости с 64-битными системами.
Редактор способен размещать ноты, вводить фонемы и изменять высоту тона и громкость на пианино . В UTAU можно создать только одну дорожку, и ноты нельзя размещать друг на друге. [ требуется разъяснение ] По умолчанию на пианино отображаются только ноты, но настройки отображения можно изменить, чтобы показать кривую высоты тона, интенсивность громкости, огибающую и флаги. UTAU использует флаги для изменения аспектов голоса, таких как фильтры нижних и верхних частот, а также для уменьшения или добавления придыхания. Эти флаги различаются в зависимости от используемого ресемплера. Информация о партитуре и данные в голосовом банке обрабатываются ресемплером и wavtool на основе партитуры, созданной с помощью редактора. В одном файле .ust можно использовать только один ресемплер. Для управления изменениями качества голоса используется формантный фильтр, который можно отключить.
Аудиофайл для загрузки находится путем сопоставления символов на ноте с именем аудиофайла в голосовой библиотеке. Однако файл prefix.map может изменить, из какой подпапки взят сэмпл. Высота синтезированного голоса регулируется в соответствии с разницей между исходным звуковым файлом и высотой тона ноты в редакторе. UTAU использует формантные фильтры для предотвращения экстремальных изменений качества голоса, которые можно отключить. Пакетная обработка используется для одновременной генерации нескольких нот. Во время этого процесса создаются файлы кэша. В зависимости от ресемплера объем файлов кэша может увеличиваться. В меню есть настройки для удаления файлов кэша при закрытии программы или по истечении определенного периода времени.
Есть встроенные плагины , которые могут автоматически объединять гласные, и настройки "Omakase/A la carte", которые могут добавлять автоматическую высоту тона и вибрато ко всему файлу. Другие плагины, созданные пользователями, также могут быть добавлены в программное обеспечение. Цвета редактора также можно изменить в файле setting.ini.
Как упоминалось выше, файлы WAV можно портировать в UTAU. В одном голосовом банке могут быть сотни, а в некоторых случаях и тысячи таких файлов. Голоса устанавливаются либо путем помещения их в папку «voice», либо путем перетаскивания их на значок UTAU. Эти библиотеки также поставляются с файлом oto.ini, который определяет синхронизацию и конфигурацию каждого сэмпла. При выводе звука из данных партитуры в редакторе программа использует oto.ini для установки синхронизации и произношения. Файлы oto.ini можно создавать с помощью графического интерфейса UTAU или в стороннем программном обеспечении, созданном пользователями, наиболее заметной из этих сторонних программ является SetParam. Таблицы частот (файлы .frq) используются для обработки формы волны при изменении высоты тона в редакторе. Некоторые ресемплеры используют другие типы файлов вместо .frq. Голоса также могут поставляться с файлами изображений, чаще всего в формате .bmp, и автономными голосовыми диалогами, как это делают некоторые вокалоиды . Они также часто включают файлы readme, которые содержат информацию о программном обеспечении и условия использования. Файлы информации о персонажах, обычно называемые character.txt, также часто включаются, в них содержится информация, которую можно просмотреть в разделе «Предварительный просмотр голоса» графического интерфейса, где указаны автор голосового банка, имя, файл образца для воспроизведения при нажатии кнопки «образец» и изображение голосового банка. Он также может содержать другие параметры, указанные создателем, такие как «жанр».
Некоторые голосовые банки являются односложными , в совокупности именуемыми «CV» (согласная-гласная), тогда как другие используют трифоны для получения более плавного звука. [3] Эти трифонетические голосовые банки в совокупности именуются «VCV» (гласная-согласная-гласная). Они требуют значительно больше времени и усилий для создания (будучи примерно в семь раз больше голосового банка CV, с точки зрения строк в файле oto.ini), но дают более естественный результат.
Позже голоса UTAU включали фонемы, состоящие из гласных и согласных (VC), чтобы соответствовать языкам, отличным от японского. Методы, которые используют это, включают "CVVC" (в котором фонема VC помещается между двумя фонемами CV) или родственный метод "VCCV", который основан на CVVC, но содержит несколько отличий (различие между придыхательными и непридыхательными VC, поддержка согласных кластеров и т. д.). "VCCV" назван так, чтобы отличать себя от прошлых списков CVVC его создателя. Два более редких метода записи голоса — это CVC, где одна фонема состоит из согласной-гласной-согласной и разделяется в программе с помощью oto.ini, и метод, называемый рентан-дзюцу (れんたんじゅつ), в котором серия слогов CV записывается в несколько wav-файлов для создания более плавного результата, не прибегая к полному VCV.
Поскольку аудиофайлы являются независимыми файлами, их можно использовать в другом программном обеспечении, например, в DAW.
Разработка UTAU началась, когда Амейя начал использовать Audacity для рекомбинации сэмплов других певцов и Melodyne для коррекции высоты тона сэмплов и наложения их на музыку. Этот процесс назывался «человеческим VOCALOID». LOLI.COM, музыкант, который разместил свою собственную рэп-музыку на Nico Nico Douga , использовал свой собственный голос для человеческого Vocaloid и выпустил программное обеспечение для редактирования аудио, которое могло помочь пользователям делать то же самое. Поскольку процесс создания «человеческого VOCALOID» вручную занимал значительное количество времени и усилий, Амейя начал разрабатывать новый инструмент, который бы помог этому процессу.
Инструмент был анонсирован на Nico Nico Douga 11 января 2008 года. В то время можно было настраивать синхронизацию звука, изменять огибающую ноты и генерировать пакетные файлы. 5 февраля 2008 года было выпущено видео, демонстрирующее графический интерфейс. Здесь можно было растягивать сэмплы по времени, создавать файлы oto.ini и настраивать высоту тона нот. [4] 5 марта 2008 года на Nico Nico Douga было выпущено видео, объясняющее технические характеристики программы, [5] а 15 марта 2008 года инструмент был переименован в UTAU.
Создатель был программистом по профессии и не был специалистом по вокальному синтезу, но использовал предыдущие знания для создания UTAU. После его выпуска Амейя продолжила улучшать UTAU и начала разрабатывать его в сотрудничестве с другими разработчиками текст-в-речь. [6]
В июне 2008 года Амея отказался от названия «Jinriki Bōkaroido» (人力ボーカロイド, Manual Vocaloid) для UTAU, назвав вместо этого его программным обеспечением для синтеза голоса. [7]
Версия для Mac под названием UTAU-Synth была выпущена в 2011 году.
Поскольку UTAU может создавать поющий голос, используя любые файлы WAV, можно взять голос существующего человека и использовать его в качестве данных. Часто актеры, певцы и знаменитости переделывают свои голоса для использования в UTAU. Создатель, Амейя, однажды создал голос, используя данные с CD актера озвучивания.
В мае 2008 года Амейя решила на время прекратить использование аудиоданных без разрешения, если только этого не разрешит актёр озвучивания. [8]
Хотя программное обеспечение очень популярно в Японии, его происхождение и культурное влияние обязаны уже устоявшейся популярности программного обеспечения Vocaloid. Сам UTAU впервые стал известен, когда создатель Kasane Teto выпустил персонажа, выдающего себя за персонажа Vocaloid, в качестве части первоапрельской шутки в 2008 году. [ необходима цитата ] Влияние программного обеспечения Vocaloid также привело к тому, что обе программы стали широко использоваться бок о бок. Часто популярные талисманы UTAU, такие как Kasane Teto, появляются в медиа на основе VOCALOID, таких как Maker Hikōshiki Hatsune Mix или Hatsune Miku: Project DIVA .
Позже программное обеспечение UTAU оказало свое влияние на Vocaloid и другие вокальные синтезаторы, при этом ряд вокальных партий либо ссылались на UTAU, либо изначально создавались для движка. Например, Megurine Luka V4x был вдохновлен вокалом UTAU Gahata Meiji. [9] Wat из Crypton Future Media также поговорил с кем-то, хорошо знакомым с UTAU, и сказал, что разговор был «очень интересным». [10] Macne Nana из серии Macne позже станет как голосом UTAU, так и голосом Vocaloid. Поставщик голоса английского Vocaloid Ruby , Misha, ранее создал японоязычный UTAU по имени Makune Hachi ( MAKU音ハチ). Кроме того, вокалист Dex, Kenji-B, создал Kenji Baionoto (倍音音ケンジ) для UTAU, а AkiGlancy, вокалистка партнерши Dex Daina, передала свой голос UTAU Namida (ナミダ) . Кикуко Иноуэ , актриса озвучивания Macne Coco White and Black ( Mac音ココ白・黒) (см. серию Macne ), продолжила озвучивать продукт Vocaloid5 по имени Харуно Сора (桜乃そら). Продукт поставлялся с двумя голосовыми банками: Natural и Cool. [11] После выпуска вокала Tohoku Zunko из Vocaloid 3 , две ее сестры Тохоку Итако и Тохоку Киритан получили вокал UTAU. [12] Киритан позже проведет краудфандинговую кампанию, чтобы стать Voiceroid . [13] Помимо своего влияния на Vocaloid, UTAU послужил стартовой площадкой для разработки других коммерческих синтезаторов голоса для пения. Наиболее заметным из них является Synthesizer V от Dreamtonics, который возник из разработки ресемплера UTAU, известного как Moresampler, оба из которых были разработаны Канру Хуа. [14] [15] [16]
Его главная привлекательность заключается не только в том, что он свободно распространяется в Интернете, но и в том, что он позволяет пользователю вставлять свой собственный голос в базу данных для использования в музыке, открывая пользователям двери для дальнейшего развития их собственной музыки. UTAU обязан своей растущей популярностью своей способности предоставлять бесплатный метод создания голосов для использования в музыке и создал множество музыкальных продюсеров, работающих с программным обеспечением на таких сайтах, как Niconico и YouTube . Пользователи также видят его как альтернативу программному обеспечению Vocaloid, которое предлагает более ограниченный запас голосов по высокой цене и может не предлагать типы голосов, которые они ищут для своей музыки, поскольку большая база голосов часто имеет гораздо больше шансов предложить голос, который они ищут. Однако, несмотря на количество предлагаемых голосовых банков, программное обеспечение в целом имеет гораздо меньше продюсеров, работающих с ним, чем Vocaloid. [17]
Радиостанция запустила часовую программу, содержащую только музыку в стиле Vocaloid и UTAU. [18]
Кроме того, с 19 июля 2012 года регулярно проводилось мероприятие под названием The UTAU M@STER. Это мероприятие было главным собранием групп или кружков и проводилось аналогично мероприятию, связанному с Vocaloid, THE VOC@LOID M@STER, которое существовало с 2007 года. [19]
В отличие от Vocaloid, файлы UTAU не являются ограничивающими, поскольку это не проприетарная лицензия. Таким образом, можно использовать продукты с открытым исходным кодом лицензии с программным обеспечением UTAU, такие как те, которые были созданы для серии Macne ( Mac音シリーズ) , выпущенные для программ Reason 4 и GarageBand . Эти продукты продавались Act2 и, преобразовав их формат файла, также могли работать с программой UTAU. [20] Позже, пакеты Macne Whisper☆Angel Sasayaki, Macne Nana 2S и Macne Petit 2S поставлялись с предварительно созданными голосовыми банками UTAU.
Голосовой банк по умолчанию «Defoko» (Utane Uta) заимствует ее голос из программного обеспечения AquesTalk, в частности голос «AquesTalk Female-1», созданный A-quest. Было предоставлено разрешение на ее бесплатное распространение с программным обеспечением. [21] Utane Koe, сестра Uta, также заимствует свой голос из программного обеспечения AquesTalk. Namine Ritsu (波音リツ), голосовой банк, изначально созданный для UTAU, также был позже добавлен в другое программное обеспечение под названием Sinsy как «Namine Ritsu S». Другой голосовой банк, изначально разработанный для программного обеспечения UTAU, Yamine Renri (闇音レンリ), также был позже добавлен в Synthesizer V. Популярный персонаж UTAU Касанэ Тето был выпущен в качестве голосовой базы данных Synthesizer V AI 27 апреля 2023 года. [22]
Из-за собственного соглашения об авторских правах программного обеспечения, неоткрытое лицензионное программное обеспечение, такое как VOCALOID, не разрешается импортировать в программное обеспечение UTAU. [23] Ряд плагинов для программного обеспечения также были разработаны пользователями программного обеспечения, которые добавляют и улучшают вокал программного обеспечения. Программное обеспечение Sugarcape, основанное на том же намерении бесплатного программного обеспечения, что и UTAU, уже вошло в стадию бета-тестирования. [24] 27 мая 2011 года была выпущена официальная версия UTAU для Mac под названием UTAU-Synth. [25] Она имеет примерно те же функции, что и версия для Windows. Версия UTAU-Synth может импортировать как голоса, так и песни, созданные в версии для Windows, но ее файлы проекта и конфигурации голосового банка не полностью совместимы с версией для Windows. В конце 2017 года упоминалось, что у Plogue Art et Technologie, Inc. была рабочая адаптация перенаправления, которая заставляла вокал UTAU появляться в ее движке Alter/Ego . [26]
OpenUTAU — неофициальный преемник UTAU с открытым исходным кодом, разработанный производителем Vocaloid StAkira, бета-версия которого была выпущена в ноябре 2021 года. Программное обеспечение было разработано для совместимости с UTAU, но с современным пользовательским интерфейсом. В отличие от UTAU, для его корректной работы не требуется японская локаль системы. [27]
Лицензированные песни из альбома Graduation from Lie с участием Kasane Teto были выпущены для скачивания музыки из Karen-T, под Crypton Future Media , как специальный релиз. Это первый лицензионный релиз любого UTAU. [28]
Голосовая библиотека Momo Momone используется в вирусном видео YouTube " Nyan Cat ". Это кавер на песню "Nyanyanyanyanyanyanya!", изначально написанную daniwellP и использующую VOCALOID Hatsune Miku . [ требуется ссылка ]