stringtranslate.com

сонификация

Видео данных о загрязнении воздуха из Пекина, переданное в виде музыкального произведения

Сонификация — это использование неречевого звука для передачи информации или восприятия данных. [1] Слуховое восприятие имеет преимущества во временном, пространственном, амплитудном и частотном разрешении, что открывает возможности в качестве альтернативы или дополнения к методам визуализации .

Например, скорость щелчков счетчика Гейгера передает уровень радиации в непосредственной близости от устройства.

Хотя многие эксперименты с ультразвуковой обработкой данных изучались на таких форумах, как Международное сообщество слухового дисплея (ICAD), ультразвуковая обработка сталкивается со многими проблемами при широком использовании для представления и анализа данных. Например, исследования показывают, что сложно, но важно обеспечить адекватный контекст для интерпретации ультразвуковых данных. [1] [2] Многие попытки ультразвуковой обработки кодируются с нуля из-за отсутствия гибких инструментов для ультразвуковых исследований и анализа данных. [3]

История

Счетчик Гейгера , изобретенный в 1908 году, является одним из первых и наиболее успешных применений ультразвуковой обработки. Счетчик Гейгера имеет трубку с газом низкого давления; каждая обнаруженная частица создает импульс тока, когда она ионизирует газ, производя звуковой щелчок. Первоначальная версия была способна обнаруживать только альфа-частицы. В 1928 году Гейгер и Вальтер Мюллер (аспирант Гейгера) усовершенствовали счетчик, чтобы он мог обнаруживать больше типов ионизирующего излучения.

В 1913 году доктор Эдмунд Фурнье д'Альб из Бирмингемского университета изобрел оптофон , который использовал селеновые фотодатчики для обнаружения черного отпечатка и преобразования его в звуковой сигнал. [4] Слепой читатель мог поднести книгу к устройству и поднести аппарат к той области, которую он хотел прочитать. Оптофон воспроизводил набор нот: g c' d' e' g' b' c e . Каждая нота соответствовала положению в области чтения оптофона, и эта нота отключалась, если обнаруживались черные чернила. Таким образом, недостающие примечания указывали на места, где черные чернила находились на странице и их можно было использовать для чтения.

Поллак и Фикс опубликовали первые перцептивные эксперименты по передаче информации через слуховой дисплей в 1954 году. [5] Они экспериментировали с объединением звуковых параметров, таких как время, частота, громкость, продолжительность и пространственное расположение, и обнаружили, что они могут заставить испытуемых регистрировать изменения. в нескольких измерениях одновременно. Эти эксперименты не вдавались в подробности, поскольку каждое измерение имело только два возможных значения.

Джон М. Чемберс , Макс Мэтьюз и Ф.Р. Мур из Bell Laboratories выполнили самую раннюю работу по построению слуховых графиков в своем техническом меморандуме «Проверка слуховых данных» в 1974 году. [6] Они дополнили диаграмму рассеяния, используя звуки, которые варьировались по частоте, спектральному составу, и размеры амплитудной модуляции для использования в классификации. Они не проводили никакой формальной оценки эффективности этих экспериментов. [7]

В 1976 году философ технологии Дон Айде писал: «Подобно тому, как наука, кажется, создает бесконечный набор визуальных образов практически для всех своих явлений, атомы и галактики знакомы нам от журнальных книг до научных журналов; так и» музыка» тоже может быть создана на основе тех же данных, которые создают визуализацию». [8] Похоже, это одно из самых ранних упоминаний об озвучивании как о творческой практике.

В 1980-е годы пульсоксиметры получили широкое распространение. Пульсоксиметры могут измерять концентрацию кислорода в крови, излучая более высокие частоты для более высоких концентраций. Однако на практике эта особенность пульсоксиметров не может широко использоваться медицинскими работниками из-за риска использования слишком большого количества звуковых стимулов в медицинских учреждениях. [9]

В 1992 году Грегори Крамер основал Международное сообщество по слуховому отображению (ICAD) как форум для исследований в области слухового отображения , включая ультразвуковую обработку данных. С тех пор ICAD стал домом для исследователей из самых разных дисциплин, заинтересованных в использовании звука для передачи информации посредством конференций и рецензируемых материалов. [10]

В мае 2022 года НАСА сообщило об ультразвуковой обработке (преобразовании астрономических данных, связанных с волнами давления, в звук ) черной дыры в центре скопления галактик Персея . [11] [12]

Некоторые существующие приложения и проекты

Методы сонификации

Многие различные компоненты могут быть изменены, чтобы изменить восприятие звука пользователем и, в свою очередь, его восприятие основной отображаемой информации. Часто увеличение или уменьшение некоторого уровня этой информации обозначается увеличением или уменьшением высоты тона , амплитуды или темпа , но также может быть указано путем изменения других, менее часто используемых компонентов. Например, цену на фондовом рынке можно изобразить увеличением шага при росте цены акции и понижением шага при ее падении. Чтобы пользователь мог определить, что воспроизводится более одной акции, для разных акций могут использоваться разные тембры или яркость, или они могут воспроизводиться пользователю из разных точек пространства, например, через разные стороны наушников. .

Было предпринято множество исследований, чтобы попытаться найти лучшие методы представления различных типов информации, но до сих пор не сформулирован окончательный набор методов, которые следует использовать. Поскольку считается, что область ультразвуковой обработки все еще находится в зачаточном состоянии, текущие исследования направлены на определение наилучшего набора звуковых компонентов, которые будут варьироваться в различных ситуациях.

Можно разделить несколько различных методов слухового рендеринга данных:

Альтернативным подходом к традиционной озвучке является «озвучивание путем замены», например, импульсная мелодическая аффективная обработка (PMAP). [50] [51] [52] В PMAP вместо озвучивания потока данных вычислительным протоколом являются сами музыкальные данные, например MIDI. Поток данных представляет немузыкальное состояние: в PMAP — аффективное состояние. Затем расчеты можно выполнять непосредственно на музыкальных данных, а результаты можно прослушивать с минимальной трансляцией.

Смотрите также

Рекомендации

  1. ^ Аб Крамер, Грегори, изд. (1994). Слуховой дисплей: сонификация, аудификация и слуховые интерфейсы . Исследования Института Санта-Фе в области наук о сложности. Том. Материалы тома XVIII. Ридинг, Массачусетс: Аддисон-Уэсли. ISBN 978-0-201-62603-2.
  2. ^ Смит, Дэниел Р.; Уокер, Брюс Н. (2005). «Влияние слуховых контекстных сигналов и обучения на выполнение задачи ультразвуковой оценки точечной оценки». Журнал прикладной когнитивной психологии . 19 (8): 1065–1087. дои : 10.1002/acp.1146.
  3. ^ Флауэрс, Дж. Х. (2005), «Тринадцать лет размышлений о слуховых графиках: обещания, подводные камни и потенциальные новые направления» (PDF) , в Бразилии, Эоин (ред.), Материалы 11-й Международной конференции по слуховому отображению , стр. 406–409
  4. ^ Фурнье д'Альб, EE (май 1914 г.), «О печатающем оптофоне», Труды Лондонского королевского общества.
  5. ^ Поллак И. и Фикс Л. (1954), «Информация об элементарных многомерных слуховых дисплеях», Журнал Акустического общества Америки , 26 (1): 136, Бибкод : 1954ASAJ...26Q.136P, doi : 10.1121/1.1917759
  6. ^ Чемберс, Дж. М. и Мэтьюз, М. В. и Мур, Франция (1974), «Проверка аудиторских данных», Технический меморандум , AT&T Bell Laboratories, 74-1214-20{{citation}}: CS1 maint: несколько имен: список авторов ( ссылка )
  7. ^ Фрайзингер, С.П. (2005), «Краткая история представления слуховых данных до 1980-х годов» (PDF) , в Бразилии, Эоин (ред.), Труды 11-й Международной конференции по слуховому отображению , стр. 410–413.
  8. ^ Иде, Дон (4 октября 2007 г.). Слушание и голос: Феноменологии звука, второе издание . СУНИ Пресс. п. xvi. ISBN 978-0791472569.
  9. ^ Крэйвен, РМ; МакИндо, А.К. (1999), «Непрерывный слуховой мониторинг – сколько информации мы регистрируем?» (PDF) , Британский журнал анестезии , 83 (5): 747–749, doi : 10.1093/bja/83.5.747 , PMID  10690137[ мертвая ссылка ]
  10. ^ Крамер, Г.; Уокер, Б.Н. (2005), «Здоровая наука: отметка десяти международных конференций по слуховому отображению», ACM Transactions on Applied Perception , 2 (4): 383–388, CiteSeerX 10.1.1.88.7945 , doi : 10.1145/1101530.1101531, S2CID  1187647 
  11. ^ Вацке, Меган; Портер, Молли; Мохон, Ли (4 мая 2022 г.). «Новые ультразвуковые исследования черной дыры НАСА с ремиксом». НАСА . Проверено 11 мая 2022 г.
  12. ^ Прощай, Деннис (7 мая 2022 г.). «Услышьте странные звуки пения черной дыры. В рамках попытки «озвучить» космос исследователи преобразовали волны давления, исходящие от черной дыры, в слышимое… нечто». Нью-Йорк Таймс . Проверено 11 мая 2022 г.
  13. ^ Монтгомери, ET; Шмитт, Р.В. (1997), «Акустический высотомер свободного аппарата для измерения придонной турбулентности», Deep Sea Research Part I: Oceanographic Research Papers , 44 (6): 1077, Бибкод : 1997DSRI...44.1077M, doi :10.1016/S0967-0637(97)87243-3
  14. ^ Квинке, Г. (1897). «Акустический термометр для высокой и низкой температуры». Аннален дер Физик . 299 (13): 66–71. Бибкод : 1897AnP...299...66Q. дои : 10.1002/andp.18972991311. ISSN  0003-3804.
  15. ^ Исмаилогуллари, Абдулла; Цимер, Тим (2019). «Часы Soundscape: композиции Soundscape, отображающие время суток». Международная конференция по слуховому дисплею . Том. 25. С. 91–95. дои : 10.21785/icad2019.034 . hdl : 1853/61510. ISBN 978-0-9670904-6-7.
  16. ^ LIGO Gravitational Wave Chirp, заархивировано из оригинала 22 декабря 2021 г. , получено 15 сентября 2021 г.
  17. ^ Хант, А.; Германн, Т.; Паулетто, С. (2004). «Взаимодействие с системами ультразвуковой обработки: замыкание цикла». Слушания. Восьмая международная конференция по визуализации информации, 2004 г. IV, 2004 г., стр. 879–884. дои : 10.1109/IV.2004.1320244. ISBN 0-7695-2177-0. S2CID  9492137.
  18. ^ Томас Германн и Энди Хант. Важность взаимодействия в сонификации . Материалы десятого собрания ICAD Международной конференции по слуховому отображению, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн.
  19. ^ Сандра Паулетто и Энди Хант. Набор инструментов для интерактивной сонификации . Материалы десятого собрания ICAD Международной конференции по слуховому отображению, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн.
  20. ^ Катер, Якоб Николас; Германн, Томас; Букшат, Янник; Крамер, Тилманн; Шад, Лотар Р.; Зёлльнер, Фрэнк Геррит (2017). «Полифоническая ультразвуковая обработка сигналов электрокардиографии для диагностики патологий сердца». Научные отчеты . 7 : Артикул 44549. Бибкод : 2017NatSR...744549K. дои : 10.1038/srep44549. ПМК 5357951 . ПМИД  28317848. 
  21. ^ Эдуорти, Джуди (2013). «Медицинская звуковая сигнализация: обзор». J Am Med Inform доц . 20 (3): 584–589. doi : 10.1136/amiajnl-2012-001061. ПМЦ 3628049 . ПМИД  23100127. 
  22. ^ Вурдеман, Питер А.; Виллемс, Питер Вашингтон; Нордсманс, Херке Ян; Беркельбах ван дер Спренкен, Ян Виллем (2009). «Слуховая обратная связь во время безрамной операции под визуальным контролем на фантомной модели и первоначальный клинический опыт». Дж. Нейрохирургия . 110 (2): 257–262. дои : 10.3171/2008.3.17431. ПМИД  18928352.
  23. ^ Цимер, Тим; Блэк, Дэвид (2017). «Психоакустически мотивированная ультразвуковая обработка для хирургов». Международный журнал компьютерной радиологии и хирургии . 12 ((Приложение 1): 1): 265–266. arXiv : 1611.04138 . дои : 10.1007/s11548-017-1588-3. PMID  28527024. S2CID  51971992.
  24. ^ Цимер, Тим; Блэк, Дэвид; Шультайс, Хольгер (2017). Психоакустическая ультразвуковая конструкция для навигации при хирургических вмешательствах . Материалы совещаний по акустике. Том. 30. с. 050005. дои : 10.1121/2.0000557 .
  25. ^ Цимер, Тим; Блэк, Дэвид (2017). «Психоакустическая ультразвуковая технология для наведения гусеничных медицинских инструментов». Журнал Акустического общества Америки . 141 (5): 3694. Бибкод : 2017ASAJ..141.3694Z. дои : 10.1121/1.4988051.
  26. ^ Нагель, Ф; Стер, Франция; Дегара, Н; Балке, С; Уорролл, Д. (2014). «Быстрое и точное наведение — время реакции на навигационные звуки». Международная конференция по слуховому дисплею . hdl : 1853/52058.
  27. ^ Флорес, Л (1936). «Настоящий слепой полет». J Aeronaut Sci . 3 (5): 168–170. дои : 10.2514/8.176.
  28. ^ abc Цимер, Тим; Шультайс, Хольгер; Блэк, Дэвид; Кикинис, Рон (2018). «Психоакустическая интерактивная сонификация для ближней навигации». Acta Acustica объединилась с Acustica . 104 (6): 1075–1093. дои : 10.3813/AAA.919273. S2CID  125466508.
  29. ^ abc Цимер, Тим; Шультайс, Хольгер (2018). «Психоакустический слуховой дисплей для навигации: система слуховой помощи для задач пространственной ориентации». Журнал о мультимодальных пользовательских интерфейсах . 2018 (Специальный выпуск: Интерактивная сонификация): 205–218. дои : 10.1007/s12193-018-0282-2. S2CID  53721138 . Проверено 24 января 2019 г.
  30. ^ Манноне, Мария (2018). «Узлы, музыка и ДНК». Журнал творческих музыкальных систем . 2 (2). arXiv : 2003.10884 . doi : 10.5920/jcms.2018.02. S2CID  64956325.
  31. ^ "SPDF - Сонификация" . jcms.org.uk/ . 13 ноября 2005 г. Архивировано из оригинала 13 ноября 2005 г. Проверено 15 сентября 2021 г.
  32. ^ Хинкфусс, Келли; Сандерсон, Пенелопа; Леб, Роберт Г.; Лили, Хелен Г.; Лю, Дэвид (2016). «Новые методы пульсоксиметрии для мониторинга насыщения кислородом новорожденных». Человеческие факторы . 58 (2): 344–359. дои : 10.1177/0018720815617406. PMID  26715687. S2CID  23156157.
  33. ^ Сандерсон, Пенелопа М.; Уотсон, Маркус О.; Рассел, Джон (2005). «Дисплеи расширенного мониторинга пациентов: инструменты для непрерывного информирования». Анестезия и анальгезия . 101 (1): 161–168. дои : 10.1213/01.ANE.0000154080.67496.AE . ПМИД  15976225.
  34. ^ Шварц, Себастьян; Цимер, Тим (2019). «Психоакустическое звуковое оформление для пульсоксиметрии». Международная конференция по слуховому дисплею . Том. 25. С. 214–221. дои : 10.21785/icad2019.024 . hdl : 1853/61504. ISBN 978-0-9670904-6-7.
  35. ^ Шуэтт, Джонатан Х.; Винтон, Райли Дж.; Баттерман, Джаред М.; Уокер, Брюс Н. (2014). «Слуховые сводки погоды». Материалы 9-й конференции «В основном аудио: конференция по взаимодействию со звуком» . Утро '14. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 17:1–17:7. дои : 10.1145/2636879.2636898. ISBN 9781450330329. S2CID  5765787.
  36. ↑ Полли, Андреа (6–9 июля 2004 г.). АТМОСФЕРИКА/ПОГОДНЫЕ РАБОТЫ: ПРОЕКТ МНОГОКАНАЛЬНОГО ОБЛУЧЕНИЯ ШТОРМА (PDF) . ICAD 04-десятое заседание Международной конференции по слуховому дисплею. Архивировано из оригинала (PDF) 11 июля 2021 г.
  37. ^ Ян, Цзяцзюнь; Германн, Томас (20–23 июня 2017 г.). ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ ЗВУКОВОЙ ТРАЕКТОРИИ ЧАСТИЦ ДЛЯ ОБЕСПЕЧЕНИЯ ИНТЕРАКТИВНОСТИ В РЕАЛЬНОМ ВРЕМЕНИ (PDF) . 23-я Международная конференция по слуховому дисплею.
  38. ^ "Джастин Жоке". justinjoque.com . Проверено 21 мая 2019 г.
  39. ^ Банф, Майкл; Бланц, Волкер (2013). «Зонификация изображений для слабовидящих с использованием многоуровневого подхода». Материалы 4-й Международной конференции по дополненному человеку . Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 162–169. дои : 10.1145/2459236.2459264. ISBN 9781450319041. S2CID  7505236.
  40. ^ Банф, Майкл; Микалай, Рубен; Вацке, Барис; Бланц, Волкер (июнь 2016 г.). «PictureSensation – мобильное приложение, которое поможет слепым исследовать визуальный мир посредством прикосновения и звука». Журнал реабилитации и инженерии вспомогательных технологий . 3 : 205566831667458. дои : 10.1177/2055668316674582. ISSN  2055-6683. ПМК 6453065 . ПМИД  31186914. 
  41. ^ КУРАТ. «Игры и тренинги по малоинвазивной хирургии». Проект КУРАТ . Бременский университет . Проверено 15 июля 2020 г.
  42. ^ Винклер, Хелена; Шаде, Ева Эмели Софи; Крусилп, Джатаван; Ахмади, Фида. «Наклон - уровень духа с помощью звука». Тилтификация . Бременский университет . Проверено 21 апреля 2021 г.
  43. ^ Зильберман, С. (6 февраля 2012 г.). «В сознании синестета». ПЛОС ОДИН.
  44. ^ Вайденфельд, Дж., 28 сентября 2013 г. «10 крутых способов создания музыки с помощью технологий». Список услуг.
  45. ^ Бирн, М., 14 февраля 2012 г. «С изображениями для ваших ушей Sonified побеждает дополненную реальность с индивидуальной синестезией». Вице/материнская плата
  46. ^ "Прайссквок". ценыquawk.com .
  47. ^ Баррасс С. (2012) Цифровое изготовление акустических ультразвуков, Журнал Общества аудиоинженеров, сентябрь 2012 г., онлайн
  48. ^ Баррасс, С. и Бест, Г. (2008). Потоковые диаграммы сонификации. Материалы 14-й Международной конференции по слуховому отображению, IRCAM Париж, 24–27 июня 2008 г., онлайн.
  49. ^ Баррасс С. (2009) Развитие практики и теории потоковой сонификации. Скан: Журнал медиа-искусства и культуры , Университет Маккуори .
  50. ^ Кирк, Алексис; Миранда, Эдуардо (6 мая 2014 г.). «Импульсная мелодичная аффективная обработка: музыкальные структуры для повышения прозрачности эмоциональных вычислений». Моделирование . 90 (5): 606. дои : 10.1177/0037549714531060. hdl : 10026.1/6621 . S2CID  15555997.
  51. ^ «К гармоническому расширению импульсной мелодической аффективной обработки - дальнейшие музыкальные структуры для повышения прозрачности в эмоциональных вычислениях» (PDF) . 11 ноября 2014 г. Проверено 5 июня 2017 г.
  52. ^ «Пример гибридного компьютера для нетрадиционных виртуальных вычислений». 01.06.2015 . Проверено 5 июня 2017 г.

Внешние ссылки

Викискладе есть медиафайлы, связанные с сонификацией .