stringtranslate.com

Сонификация

Видеозапись данных о загрязнении воздуха в Пекине, представленная в виде музыкального произведения

Сонификация — это использование неречевого звука для передачи информации или восприятия данных. [1] Слуховое восприятие имеет преимущества во временном, пространственном, амплитудном и частотном разрешении, которые открывают возможности в качестве альтернативы или дополнения к методам визуализации .

Например, частота щелчков счетчика Гейгера передает уровень радиации в непосредственной близости от прибора.

Хотя многие эксперименты с сонификацией данных были исследованы на таких форумах, как Международное сообщество по слуховому дисплею (ICAD), сонификация сталкивается со многими проблемами для широкого использования для представления и анализа данных. Например, исследования показывают, что сложно, но необходимо обеспечить адекватный контекст для интерпретации сонификации данных. [1] [2] Многие попытки сонификации кодируются с нуля из-за отсутствия гибкого инструментария для исследования сонификации и изучения данных. [3]

История

Счетчик Гейгера , изобретенный в 1908 году, является одним из самых ранних и успешных применений сонификации. Счетчик Гейгера имеет трубку с газом низкого давления; каждая обнаруженная частица производит импульс тока, когда ионизирует газ, производя звуковой щелчок. Первоначальная версия была способна обнаруживать только альфа-частицы. В 1928 году Гейгер и Вальтер Мюллер (аспирант Гейгера) усовершенствовали счетчик так, чтобы он мог обнаруживать больше типов ионизирующего излучения.

В 1913 году доктор Эдмунд Фурнье д'Альбе из Бирмингемского университета изобрел оптофон , который использовал селеновые фотодатчики для обнаружения черного шрифта и преобразования его в звуковой сигнал. [4] Слепой читатель мог поднести книгу к устройству и поднести аппарат к области, которую он хотел прочитать. Оптофон воспроизводил заданную группу нот: g c' d' e' g' b' c e . Каждая нота соответствовала положению в области чтения оптофона, и эта нота отключалась, если обнаруживались черные чернила. Таким образом, отсутствующие ноты указывали на положения, где на странице были черные чернила, и их можно было использовать для чтения.

Поллак и Фикс опубликовали первые перцептивные эксперименты по передаче информации через слуховой дисплей в 1954 году. [5] Они экспериментировали с комбинированием звуковых измерений, таких как время, частота, громкость, длительность и пространственность, и обнаружили, что они могут заставить субъектов регистрировать изменения в нескольких измерениях одновременно. Эти эксперименты не были более подробными, поскольку каждое измерение имело только два возможных значения.

В 1970 году Nonesuch Records выпустила новую электронную музыкальную композицию американского композитора Чарльза Доджа «The Earth's Magnetic Field». Она была создана в Columbia-Princeton Electronic Music Center . Как следует из названия, электронные звуки композиции были синтезированы из данных магнитного поля Земли. Таким образом, это вполне может быть первой сонификацией научных данных в художественных, а не научных целях. [6]

Джон М. Чемберс , Макс Мэтьюз и Ф. Р. Мур из Bell Laboratories провели самую раннюю работу по построению слуховых графиков в своем техническом меморандуме «Auditory Data Inspection» в 1974 году. [7] Они дополнили диаграмму рассеяния, используя звуки, которые различались по частоте, спектральному содержанию и амплитудной модуляции для использования в классификации. Они не проводили никакой формальной оценки эффективности этих экспериментов. [8]

В 1976 году философ технологий Дон Айде писал: «Точно так же, как наука, по-видимому, создает бесконечный набор визуальных образов практически для всех своих явлений — от атомов до галактик, которые нам известны по книгам на кофейном столике и научным журналам; так и «музыку» можно создавать из тех же данных, которые создают визуализации». [9] Это, по-видимому, одно из самых ранних упоминаний о сонификации как творческой практике.

В начале 1982 года Сара Блай из Калифорнийского университета в Дэвисе выпустила две публикации — с примерами — своей работы по использованию компьютерного звука для представления данных. В то время область научной визуализации набирала обороты. Среди прочего, ее исследования и сопровождающие их примеры сравнивали свойства визуального и слухового представления, демонстрируя, что «Звук предлагает и улучшение, и альтернативу графическим инструментам». Ее работа предоставляет ранние экспериментальные данные, помогающие информировать о соответствии представления данных типу и цели. [10] [11]

Также в 1980-х годах пульсоксиметры стали широко использоваться. Пульсоксиметры могут озвучивать концентрацию кислорода в крови, издавая более высокие частоты для более высоких концентраций. Однако на практике эта особенность пульсоксиметров не может широко использоваться медицинскими работниками из-за риска слишком большого количества звуковых стимулов в медицинской среде. [12]

В 1992 году Грегори Крамер основал Международное сообщество по слуховому дисплею (ICAD) как форум для исследований слухового дисплея , включая сонификацию данных. С тех пор ICAD стал домом для исследователей из многих различных дисциплин, заинтересованных в использовании звука для передачи информации, посредством своих конференций и рецензируемых трудов. [13]

В мае 2022 года НАСА сообщило о сонификации (преобразовании астрономических данных, связанных с волнами давления , в звук ) черной дыры в центре скопления галактик Персей . [14] [15]

В 2024 году Adhyâropa Records выпустила проект The Volcano Listening Project Лейфа Карлстрома, который объединяет геофизические исследования и компьютерный синтез музыки с акустическими инструментальными и вокальными выступлениями Билли Контрераса , Тодда Сикафуза и других акустических музыкантов. [16]

Некоторые существующие приложения и проекты

Методы сонификации

Можно изменить множество различных компонентов, чтобы изменить восприятие пользователем звука и, в свою очередь, восприятие базовой информации, которая отображается. Часто увеличение или уменьшение некоторого уровня этой информации указывается увеличением или уменьшением высоты тона , амплитуды или темпа , но также может быть указано путем изменения других, менее часто используемых компонентов. Например, цена на фондовом рынке может быть отображена повышением высоты тона по мере роста цены акций и понижением высоты тона по мере ее падения. Чтобы позволить пользователю определить, что изображается более одной акции, для разных акций могут использоваться разные тембры или яркости, или они могут воспроизводиться для пользователя из разных точек пространства, например, через разные стороны его наушников.

Было проведено много исследований, чтобы попытаться найти лучшие методы для различных типов информации, которые будут представлены, и до сих пор не было сформулировано окончательного набора методов, которые можно было бы использовать. Поскольку область сонификации все еще считается находящейся в зачаточном состоянии, текущие исследования работают над определением наилучшего набора звуковых компонентов, которые можно варьировать в разных ситуациях.

Можно выделить несколько различных методов аудиальной визуализации данных:

Альтернативный подход к традиционной сонификации — «сонификация заменой», например, Pulsed Melodic Affective Processing (PMAP). [53] [54] [55] В PMAP вместо сонификации потока данных вычислительным протоколом являются сами музыкальные данные, например MIDI. Поток данных представляет собой немузыкальное состояние: в PMAP — аффективное состояние. Затем вычисления можно выполнять непосредственно на музыкальных данных, а результаты можно прослушивать с минимальным переводом.

Смотрите также

Ссылки

  1. ^ ab Kramer, Gregory, ed. (1994). Слуховой дисплей: сонификация, аудирование и слуховые интерфейсы . Исследования Института Санта-Фе в области наук о сложности. Том. Труды Том XVIII. Reading, MA: Addison-Wesley. ISBN 978-0-201-62603-2.
  2. ^ Смит, Дэниел Р.; Уокер, Брюс Н. (2005). «Влияние слуховых контекстных сигналов и обучения на выполнение задания по сонификации точечной оценки». Журнал прикладной когнитивной психологии . 19 (8): 1065–1087. doi :10.1002/acp.1146.
  3. ^ Флауэрс, Дж. Х. (2005), «Тринадцать лет размышлений о слуховой графике: обещания, подводные камни и потенциальные новые направления» (PDF) , в Бразилии, Эоин (ред.), Труды 11-й Международной конференции по слуховому отображению , стр. 406–409
  4. ↑ Фурнье д'Альб, Э. Э. (май 1914 г.), «О оптофоне с функцией чтения текста», Труды Лондонского королевского общества
  5. ^ Pollack, I. & Ficks, L. (1954), "Информация об элементарных многомерных слуховых проявлениях", Журнал Акустического Общества Америки , 26 (1): 136, Bibcode : 1954ASAJ...26Q.136P, doi : 10.1121/1.1917759
  6. ^ Додж, К. (1970), Магнитное поле Земли., т. Nonesuch Records-H-71250
  7. ^ Чемберс, Дж. М.; Мэтьюз, М. В.; Мур, Ф. Р. (1974), Проверка слуховых данных (технический меморандум), AT&T Bell Laboratories, 74-1214-20
  8. ^ Frysinger, SP (2005), «Краткая история представления слуховых данных до 1980-х годов» (PDF) , в Бразилии, Eoin (ред.), Труды 11-й Международной конференции по слуховому отображению , стр. 410–413
  9. ^ Иде, Дон (2007-10-04). Слушание и голос: Феноменология звука, второе издание . SUNY Press. стр. xvi. ISBN 978-0-7914-7256-9.
  10. ^ Блай, С. (1982), Звук и представление компьютерной информации, т. Докторская диссертация, Калифорнийский университет, Дэвис, стр. 1–127, doi : 10.2172/5221536
  11. ^ Блай, С., «Представление информации в звуке», Труды конференции 1982 года по человеческому фактору в вычислительных системах - CHI '82 , стр. 371–375, doi : 10.1145/800049.801814
  12. ^ Craven, RM; McIndoe, AK (1999), «Непрерывный слуховой мониторинг — сколько информации мы регистрируем?» (PDF) , British Journal of Anaesthesia , 83 (5): 747–749, doi : 10.1093/bja/83.5.747 , PMID  10690137[ мертвая ссылка ]
  13. ^ Крамер, Г.; Уокер, Б.Н. (2005), «Звуковая наука: Отмечая десять международных конференций по слуховому отображению», ACM Transactions on Applied Perception , 2 (4): 383–388, CiteSeerX 10.1.1.88.7945 , doi : 10.1145/1101530.1101531, S2CID  1187647 
  14. ^ Watzke, Megan; Porter, Molly; Mohon, Lee (4 мая 2022 г.). «Новые озвучивания черной дыры NASA с ремиксом». NASA . Получено 11 мая 2022 г. .
  15. ↑ До свидания, Деннис (7 мая 2022 г.). «Услышьте странные звуки пения черной дыры — в рамках усилий по «озвучиванию» космоса исследователи преобразовали волны давления от черной дыры в слышимое… нечто». The New York Times . Получено 11 мая 2022 г.
  16. ^ "Проект прослушивания вулканов". renallisteningproject.org . Получено 16 сентября 2024 г. .
  17. ^ Квинке, Г. (1897). «Акустический термометр для высокой и низкой температуры». Аннален дер Физик . 299 (13): 66–71. Бибкод : 1897AnP...299...66Q. дои : 10.1002/andp.18972991311. ISSN  0003-3804.
  18. ^ Исмаилогуллари, Абдулла; Цимер, Тим (2019). «Часы звукового ландшафта: композиции звукового ландшафта, отображающие время дня». Международная конференция по слуховому дисплею . Том 25. С. 91–95. doi : 10.21785/icad2019.034 . hdl : 1853/61510. ISBN 978-0-9670904-6-7.
  19. ^ LIGO Gravitational Wave Chirp, 11 февраля 2016 г., архивировано из оригинала 22.12.2021 , извлечено 15.09.2021
  20. ^ Хант, А.; Германн, Т.; Паулетто, С. (2004). «Взаимодействие с системами сонификации: закрытие цикла». Труды. Восьмая международная конференция по визуализации информации, 2004. IV 2004. стр. 879–884. doi :10.1109/IV.2004.1320244. ISBN 0-7695-2177-0. S2CID  9492137.
  21. ^ Томас Германн и Энди Хант. Важность взаимодействия в сонификации . Труды Десятого заседания ICAD Международной конференции по слуховому дисплею, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн
  22. ^ Сандра Паулетто и Энди Хант. Набор инструментов для интерактивной сонификации . Труды Десятого заседания ICAD Международной конференции по слуховому дисплею, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн.
  23. ^ Катер, Якоб Николас; Германн, Томас; Букшат, Янник; Крамер, Тилманн; Шад, Лотар Р.; Зёлльнер, Фрэнк Геррит (2017). «Полифоническая ультразвуковая обработка сигналов электрокардиографии для диагностики патологий сердца». Научные отчеты . 7 : Артикул 44549. Бибкод :2017NatSR...744549K. дои : 10.1038/srep44549. ПМК 5357951 . ПМИД  28317848. 
  24. ^ Эдворти, Джуди (2013). «Медицинские звуковые сигналы тревоги: обзор». J Am Med Inform Assoc . 20 (3): 584–589. doi :10.1136/amiajnl-2012-001061. PMC 3628049. PMID  23100127 . 
  25. ^ Woerdeman, Peter A.; Willems, Peter WA; Noordsmans, Herke Jan; Berkelbach van der Sprenken, Jan Willem (2009). «Слуховая обратная связь во время безрамной хирургии с визуальным контролем на фантомной модели и начальный клинический опыт». J Neurosurg . 110 (2): 257–262. doi :10.3171/2008.3.17431. PMID  18928352.
  26. ^ Цимер, Тим; Блэк, Дэвид (2017). «Психоакустически мотивированная сонификация для хирургов». Международный журнал компьютерной радиологии и хирургии . 12 ((Suppl 1):1): 265–266. arXiv : 1611.04138 . doi : 10.1007/s11548-017-1588-3. PMID  28527024. S2CID  51971992.
  27. ^ Цимер, Тим; Блэк, Дэвид; Шультайс, Хольгер (2017). Психоакустический дизайн сонификации для навигации при хирургических вмешательствах . Труды совещаний по акустике. Том 30. стр. 050005. doi : 10.1121/2.0000557 .
  28. ^ Цимер, Тим; Блэк, Дэвид (2017). «Психоакустическая сонификация для отслеживания управления медицинскими инструментами». Журнал Акустического общества Америки . 141 (5): 3694. Bibcode : 2017ASAJ..141.3694Z. doi : 10.1121/1.4988051.
  29. ^ Нагель, Ф.; Стер, Ф.Р.; Дегара, Н.; Балке, С.; Уорралл, Д. (2014). «Быстрое и точное наведение — время отклика на навигационные звуки». Международная конференция по слуховому отображению . hdl :1853/52058.
  30. ^ Флорес, Л (1936). «Настоящий слепой полет». J Aeronaut Sci . 3 (5): 168–170. дои : 10.2514/8.176.
  31. ^ abc Цимер, Тим; Шультайс, Хольгер; Блэк, Дэвид; Кикинис, Рон (2018). «Психоакустическая интерактивная сонификация для навигации на короткие расстояния». Acta Acustica United with Acustica . 104 (6): 1075–1093. doi :10.3813/AAA.919273. S2CID  125466508.
  32. ^ abc Ziemer, Tim; Schultheis, Holger (2018). «Психоакустический слуховой дисплей для навигации: слуховая система помощи для задач пространственной ориентации». Журнал по мультимодальным пользовательским интерфейсам . 2018 (Специальный выпуск: Интерактивная сонификация): 205–218. doi :10.1007/s12193-018-0282-2. S2CID  53721138. Получено 24 января 2019 г.
  33. ^ Манноне, Мария (2018). «Узлы, музыка и ДНК». Журнал Creative Music Systems . 2 (2). arXiv : 2003.10884 . doi : 10.5920/jcms.2018.02. S2CID  64956325.
  34. ^ "SPDF - Sonification". jcms.org.uk/ . 2005-11-13. Архивировано из оригинала 2005-11-13 . Получено 2021-09-15 .
  35. ^ Хинкфусс, Келли; Сандерсон, Пенелопа; Лоэб, Роберт Г.; Лили, Хелен Г.; Лю, Дэвид (2016). «Новые методы пульсоксиметрии для мониторинга насыщения крови кислородом у новорожденных». Человеческие факторы . 58 (2): 344–359. doi :10.1177/0018720815617406. PMID  26715687. S2CID  23156157.
  36. ^ Сандерсон, Пенелопа М.; Уотсон, Маркус О.; Рассел, Джон (2005). «Расширенные дисплеи мониторинга пациентов: инструменты для непрерывного информирования». Анестезия и анальгезия . 101 (1): 161–168. doi : 10.1213/01.ANE.0000154080.67496.AE . PMID  15976225.
  37. ^ Шварц, Себастьян; Цимер, Тим (2019). «Психоакустический звуковой дизайн для пульсоксиметрии». Международная конференция по слуховому отображению . Том 25. С. 214–221. doi : 10.21785/icad2019.024 . hdl : 1853/61504. ISBN 978-0-9670904-6-7.
  38. ^ Шуэтт, Джонатан Х.; Уинтон, Райли Дж.; Баттерман, Джаред М.; Уокер, Брюс Н. (2014). «Слуховые прогнозы погоды». Труды 9-й конференции Audio Mostly: A Conference on Interaction with Sound . AM '14. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 17:1–17:7. doi :10.1145/2636879.2636898. ISBN 978-1-4503-3032-9. S2CID  5765787.
  39. ^ Полли, Андреа (6–9 июля 2004 г.). АТМОСФЕРИКА/ПОГОДА РАБОТЫ: ПРОЕКТ МНОГОКАНАЛЬНОЙ ЗОНДИРОВАНИЯ ШТОРМА (PDF) . ICAD 04-Десятое заседание Международной конференции по слуховому дисплею. Архивировано из оригинала (PDF) 2021-07-11.
  40. ^ Ян, Цзяцзюнь; Герман, Томас (20–23 июня 2017 г.). ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ УЗКООБРАЗОВАНИЯ ТРАЕКТОРИИ ЧАСТИЦ ДЛЯ ОБЕСПЕЧЕНИЯ ИНТЕРАКТИВНОСТИ В РЕАЛЬНОМ ВРЕМЕНИ (PDF) . 23-я Международная конференция по слуховому дисплею.
  41. ^ "Justin Joque". justinjoque.com . Получено 21.05.2019 .
  42. ^ Банф, Майкл; Бланц, Волкер (2013). «Озвучивание изображений для людей с нарушением зрения с использованием многоуровневого подхода». Труды 4-й Международной конференции по дополненной реальности . Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 162–169. doi :10.1145/2459236.2459264. ISBN 978-1-4503-1904-1. S2CID  7505236.
  43. ^ Банф, Майкл; Микалай, Рубен; Вацке, Барис; Бланц, Фолькер (июнь 2016 г.). «PictureSensation – мобильное приложение, помогающее слепым исследовать визуальный мир с помощью прикосновений и звуков». Журнал реабилитации и инжиниринга вспомогательных технологий . 3 : 205566831667458. doi : 10.1177/2055668316674582. ISSN  2055-6683. PMC 6453065. PMID 31186914  . 
  44. ^ CURAT. "Игры и обучение для минимально инвазивной хирургии". Проект CURAT . Университет Бремена . Получено 15 июля 2020 г.
  45. ^ Винклер, Хелена; Шаде, Ева Эмели Софи; Круесильп, Джатаван; Ахмади, Фида. «Наклон – уровень духа с использованием звука». Наклон . Университет Бремена . Получено 21 апреля 2021 г. .
  46. ^ Зильберман, С. (6 февраля 2012 г.). «Внутри разума синестета». PLOS ONE.
  47. ^ Weidenfeld, J. 28 сентября 2013 г. «10 крутых способов создания музыки с помощью технологий». Listserve.
  48. ^ Бирн, М. 14 февраля 2012 г. «С изображениями для ваших ушей, Sonified побеждает в дополненной реальности с индивидуальной синестезией». Vice / Motherboard
  49. ^ "PriceSquawk". pricesquawk.com . 15 января 2014 г.
  50. ^ Barrass S. (2012) Цифровое изготовление акустических сонификацй, Журнал Audio Engineering Society, сентябрь 2012 г. онлайн
  51. ^ Barrass, S. и Best, G. (2008). Диаграммы сонификации на основе потоков. Труды 14-й Международной конференции по слуховому дисплею, IRCAM, Париж, 24–27 июня 2008 г. онлайн
  52. ^ Баррасс С. (2009) Разработка практики и теории потоковой сонификации. Скан: Журнал медиаискусства и культуры , Университет Маккуори .
  53. ^ Кирк, Алексис; Миранда, Эдуардо (2014-05-06). "Импульсная мелодическая аффективная обработка: музыкальные структуры для повышения прозрачности в эмоциональных вычислениях". Моделирование . 90 (5): 606. doi :10.1177/0037549714531060. hdl : 10026.1/6621 . S2CID  15555997.
  54. ^ «К гармоническим расширениям импульсной мелодической аффективной обработки – Дальнейшие музыкальные структуры для повышения прозрачности в эмоциональных вычислениях» (PDF) . 2014-11-11 . Получено 2017-06-05 .
  55. ^ «Исследование случая гибридного компьютера для нетрадиционных виртуальных вычислений». 2015-06-01 . Получено 2017-06-05 .

Внешние ссылки

На Викискладе есть медиафайлы по теме «Сонификация» .