Слияние датчиков

Слияние датчиков — это процесс объединения данных датчиков или данных, полученных из разнородных источников, так что полученная информация имеет меньшую неопределенность, чем это было бы возможно, если бы эти источники использовались по отдельности. Например, можно потенциально получить более точную оценку местоположения внутреннего объекта, объединив несколько источников данных, таких как видеокамеры и сигналы локализации WiFi . Термин «снижение неопределенности» в этом случае может означать более точный, более полный или более надежный, или относиться к результату возникающей точки зрения, такой как стереоскопическое зрение (вычисление информации о глубине путем объединения двухмерных изображений с двух камер с немного разных точек зрения). ^[1]^[2]

Источники данных для процесса слияния не указываются как исходящие из идентичных датчиков. Можно выделить прямое слияние , косвенное слияние и слияние выходов первых двух. Прямое слияние — это слияние данных датчиков из набора гетерогенных или гомогенных датчиков, мягких датчиков и исторических значений данных датчиков, в то время как косвенное слияние использует источники информации, такие как априорные знания об окружающей среде и человеческий ввод.

Слияние датчиков также известно как (мультисенсорное) слияние данных и является подмножеством слияния информации .

Примеры датчиков

Акселерометры
Электронные меры поддержки (ESM)
Вспышка ЛИДАР
Глобальная система позиционирования (GPS)
Инфракрасная/ тепловизионная камера
Магнитные датчики
МЭМС
Фазированная решетка
Радар
Радиотелескопы , такие как предлагаемая антенная решетка площадью в квадратный километр , крупнейший датчик, когда-либо созданный
Сканирующий ЛИДАР
Сейсмические датчики
Сонар и другие акустические
Гидроакустические буи
Телевизионные камеры
→Дополнительный список датчиков

Алгоритмы

Слияние датчиков — это термин, охватывающий ряд методов и алгоритмов, в том числе:

Примеры расчетов

Ниже приведены два примера расчетов слияния датчиков.

Пусть и обозначают две оценки из двух независимых измерений датчиков с дисперсиями шума и , соответственно. Один из способов получения комбинированной оценки — это применение обратного взвешивания дисперсии , которое также используется в сглаживателе с фиксированным интервалом Фрейзера-Поттера, а именно ^[6] ${x}_{1}$ ${x}_{2}$ $\scriptstyle \сигма _{1}^{2}$ $\scriptstyle \сигма _{2}^{2}$ ${x}_{3}$

{x}_{3}=\сигма _{3}^{2}(\сигма _{1}^{-2}{x}_{1}+\сигма _{2}^{-2}{x}_{2})

где — дисперсия объединенной оценки. Видно, что объединенный результат — это просто линейная комбинация двух измерений, взвешенных по их соответствующей информации . $\scriptstyle \сигма _{3}^{2}=(\scriptstyle \сигма _{1}^{-2}+\scriptstyle \сигма _{2}^{-2})^{-1}$

Стоит отметить, что если — случайная величина . Оценки и будут коррелировать через общий шум процесса, что приведет к потере консервативности оценки . ^[7] ${x}$ ${x}_{1}$ ${x}_{2}$ ${x}_{3}$

Другой (эквивалентный) метод объединения двух измерений заключается в использовании оптимального фильтра Калмана . Предположим, что данные генерируются системой первого порядка, и пусть обозначает решение уравнения Риккати фильтра . Применяя правило Крамера в расчете усиления, можно обнаружить, что усиление фильтра определяется по формуле: ^[^{необходима цитата}^] ${\textbf {P}}_{k}$

{\textbf {L}}_{k}={\begin{bmatrix}{\tfrac {\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}&{\tfrac {\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}\end{bmatrix}}.

При проверке, когда первое измерение свободно от шума, фильтр игнорирует второе измерение и наоборот. То есть, комбинированная оценка взвешивается по качеству измерений.

Централизованный против децентрализованного

В слиянии датчиков централизованный против децентрализованного относится к тому, где происходит слияние данных. При централизованном слиянии клиенты просто пересылают все данные в центральное местоположение, и некая сущность в центральном местоположении отвечает за корреляцию и слияние данных. При децентрализованном слиянии клиенты берут на себя полную ответственность за слияние данных. «В этом случае каждый датчик или платформу можно рассматривать как интеллектуальный актив, имеющий некоторую степень автономии в принятии решений». ^[8]

Существуют многочисленные комбинации централизованных и децентрализованных систем.

Другая классификация конфигурации датчиков относится к координации потока информации между датчиками. ^[9]^[10] Эти механизмы предоставляют способ разрешения конфликтов или разногласий и позволяют разрабатывать динамические стратегии обнаружения. Датчики находятся в избыточной (или конкурентной) конфигурации, если каждый узел предоставляет независимые меры одних и тех же свойств. Эта конфигурация может использоваться для исправления ошибок при сравнении информации с нескольких узлов. Избыточные стратегии часто используются с высокоуровневыми слияниями в процедурах голосования. ^[11]^[12] Дополнительная конфигурация возникает, когда несколько источников информации предоставляют разную информацию об одних и тех же функциях. Эта стратегия используется для слияния информации на уровне необработанных данных в алгоритмах принятия решений. Дополнительные функции обычно применяются в задачах распознавания движения с помощью нейронной сети , ^[13]^[14] скрытой марковской модели , ^[15]^[16] опорной векторной машины , ^[17] методов кластеризации и других методов. ^[17]^[16] Кооперативное слияние датчиков использует информацию, извлеченную несколькими независимыми датчиками, для предоставления информации, которая не была бы доступна с помощью отдельных датчиков. Например, датчики, подключенные к сегментам тела, используются для определения угла между ними. Кооперативная стратегия датчиков дает информацию, которую невозможно получить из отдельных узлов. Кооперативное слияние информации может использоваться в распознавании движения, ^[18] анализ походки , анализ движения , ^[19]^[20] ,. ^[21]

Уровни

Существует несколько категорий или уровней слияния датчиков, которые обычно используются. ^[22]^[23]^[24]^[25]^[26]^[27]

Уровень 0 – Выравнивание данных
Уровень 1 – Оценка сущности (например, сигнал/признак/объект).
- Отслеживание и обнаружение/распознавание/идентификация объектов
Уровень 2 – Оценка ситуации
Уровень 3 – Оценка воздействия
Уровень 4 – Усовершенствование процесса (т.е. управление датчиками)
Уровень 5 – Пользовательская детализация

Уровень слияния датчиков также можно определить на основе типа информации, используемой для подачи в алгоритм слияния. ^[28] Точнее, слияние датчиков можно выполнить путем слияния необработанных данных, поступающих из разных источников, экстраполированных характеристик или даже решений, принятых отдельными узлами.

Уровень данных - слияние на уровне данных (или раннее) направлено на слияние необработанных данных из нескольких источников и представление метода слияния на самом низком уровне абстракции. Это наиболее распространенный метод слияния датчиков во многих областях применения. Алгоритмы слияния на уровне данных обычно направлены на объединение нескольких однородных источников сенсорных данных для получения более точных и синтетических показаний. ^[29] При использовании портативных устройств сжатие данных представляет собой важный фактор, поскольку сбор необработанной информации из нескольких источников генерирует огромные информационные пространства, которые могут определять проблему с точки зрения памяти или пропускной способности связи для портативных систем. Слияние информации на уровне данных имеет тенденцию генерировать большие входные пространства, которые замедляют процедуру принятия решений. Кроме того, слияние на уровне данных часто не может обрабатывать неполные измерения. Если одна модальность датчика становится бесполезной из-за неисправностей, поломки или других причин, все системы могут прийти к неоднозначным результатам.
Уровень признаков — признаки представляют собой информацию, вычисленную на борту каждым сенсорным узлом. Затем эти признаки отправляются в узел слияния для подачи в алгоритм слияния. ^[30] Эта процедура генерирует меньшие информационные пространства по сравнению с слиянием на уровне данных, и это лучше с точки зрения вычислительной нагрузки. Очевидно, важно правильно выбрать признаки, на основе которых будут определяться процедуры классификации: выбор наиболее эффективного набора признаков должен быть основным аспектом при разработке метода. Использование алгоритмов выбора признаков, которые должным образом обнаруживают коррелированные признаки и подмножества признаков, повышает точность распознавания, но для поиска наиболее значимого подмножества признаков обычно требуются большие обучающие наборы. ^[28]
Уровень принятия решения - слияние на уровне принятия решения (или позднее) - это процедура выбора гипотезы из набора гипотез, сгенерированных индивидуальными (обычно более слабыми) решениями нескольких узлов. ^[31] Это самый высокий уровень абстракции, который использует информацию, которая уже была разработана с помощью предварительной обработки данных или уровня признаков. Основная цель слияния решений - использовать классификатор метауровня, в то время как данные из узлов предварительно обрабатываются путем извлечения из них признаков. ^[32] Обычно слияние датчиков на уровне принятия решения используется в деятельности по классификации и распознаванию, и два наиболее распространенных подхода - это голосование большинства и наивный байесовский подход. ^{[ необходима цитата ]} Преимущества, получаемые от слияния на уровне принятия решения, включают пропускную способность связи и улучшенную точность принятия решения. Он также позволяет комбинировать разнородные датчики. ^[30]

Приложения

Одним из применений слияния датчиков является GPS/INS , где данные глобальной системы позиционирования и инерциальной навигационной системы объединяются с использованием различных методов, например, расширенного фильтра Калмана . Это полезно, например, при определении положения самолета с использованием недорогих датчиков. ^[33] Другим примером является использование подхода слияния данных для определения состояния дорожного движения (низкое движение, пробка, средний поток) с использованием собранных на обочине дороги акустических данных, изображений и данных датчиков. ^[34] В области автономного вождения слияние датчиков используется для объединения избыточной информации от дополнительных датчиков с целью получения более точного и надежного представления окружающей среды. ^[35]

Хотя технически это не специализированный метод слияния датчиков, современные методы на основе сверточных нейронных сетей могут одновременно обрабатывать множество каналов данных датчиков (например, гиперспектральные изображения с сотнями полос ^[36] ) и объединять соответствующую информацию для получения результатов классификации.

Смотрите также

Алгоритм Брукса-Айенгара
Данные (вычисления)
Сбор данных
Метод Фишера для объединения независимых тестов значимости
Слияние изображений
Мультимодальная интеграция
Сенсорная сетка
Язык разметки датчиков (TML) — это язык разметки на основе XML, который обеспечивает объединение датчиков.

Ссылки

^ Элменрайх, В. (2002). Слияние датчиков в системах с временным запуском, докторская диссертация (PDF) . Вена, Австрия: Венский технический университет. стр. 173.
^ Хагигат, Мохаммад Багер Акбари; Агаголзаде, Али; Сейедараби, Хади (2011). «Многофокусное слияние изображений для сетей визуальных датчиков в области DCT». Компьютеры и электротехника . 37 (5): 789–797. doi :10.1016/j.compeleceng.2011.04.016. S2CID 38131177.
^ Ли, Ванъянь; Ван, Цзыдун; Вэй, Гуолян; Ма, Лифенг; Ху, Цзюнь; Дин, Дэруй (2015). «Обзор мультисенсорного слияния и консенсусной фильтрации для сенсорных сетей». Дискретная динамика в природе и обществе . 2015 : 1–12. doi : 10.1155/2015/683701 . ISSN 1026-0226.
^ Бадели, Вахид; Ранфтл, Саша; Мелито, Джан Марко; Рейнбахер-Кёстингер, Элис; Фон дер Линден, Вольфганг; Эллерманн, Катрин; Биро, Оскар (2021-01-01). «Байесовский вывод многосенсорной импедансной кардиографии для обнаружения расслоения аорты». COMPEL — Международный журнал вычислений и математики в электротехнике и электронной технике . 41 (3): 824–839. doi :10.1108/COMPEL-03-2021-0072. ISSN 0332-1649. S2CID 245299500.
^ Ранфтл, Саша; Мелито, Джан Марко; Бадели, Вахид; Рейнбахер-Кёстингер, Элис; Эллерманн, Катрин; фон дер Линден, Вольфганг (2019-12-31). "Байесовская количественная оценка неопределенности с использованием данных с множественной точностью и гауссовых процессов для импедансной кардиографии расслоения аорты". Энтропия . 22 (1): 58. doi : 10.3390/e22010058 . ISSN 1099-4300. PMC 7516489. PMID 33285833 .
^ Мейбек, С. (1982). Стохастические модели, оценка и управление . River Edge, NJ: Academic Press.
^ Форслинг, Робин (2023-12-15). Темная сторона децентрализованного отслеживания целей: неизвестные корреляции и ограничения связи. Исследования Линчёпинга в области науки и технологий. Диссертация. Том 2359. Линчёпинг: Электронное издательство Университета Линчёпинга. doi : 10.3384/9789180754101. ISBN 978-91-8075-409-5.
^ Н. Сюн; П. Свенссон (2002). «Мультисенсорное управление для слияния информации: проблемы и подходы». Слияние информации. стр. 3(2):163–186.
^ Дюррант-Уайт, Хью Ф. (2016). «Модели датчиков и мультисенсорная интеграция». Международный журнал исследований робототехники . 7 (6): 97–113. doi :10.1177/027836498800700608. ISSN 0278-3649. S2CID 35656213.
^ Галар, Диего; Кумар, Удай (2017). eMaintenance: Essential Electronic Tools for Efficiency . Academic Press. стр. 26. ISBN 9780128111543.
^ Ли, Вэньфэн; Бао, Цзюньжун; Фу, Сювэнь; Фортино, Джанкарло; Галзарано, Стефано (2012). «Распознавание поз человека на основе теории доказательств DS и слияния данных с нескольких датчиков». 2012 12-й Международный симпозиум IEEE/ACM по кластерным, облачным и грид-вычислениям (ccgrid 2012) . стр. 912–917. doi :10.1109/CCGrid.2012.144. ISBN 978-1-4673-1395-7. S2CID 1571720.
^ Фортино, Джанкарло; Гравина, Раффаэле (2015). «Fall-MobileGuard: интеллектуальная система обнаружения падений в реальном времени». Труды 10-й Международной конференции EAI по сетям области тела . doi :10.4108/eai.28-9-2015.2261462. ISBN 978-1-63190-084-6. S2CID 38913107.
^ Тао, Шуай; Чжан, Сяовэй; Цай, Хуаин; Лв, Цзэпин; Ху, Цайю; Се, Хайцюнь (2018). «Биометрическая аутентификация личности на основе походки с использованием инерциальных датчиков MEMS». Журнал Ambient Intelligence and Humanized Computing . 9 (5): 1705–1712. doi :10.1007/s12652-018-0880-6. ISSN 1868-5137. S2CID 52304214.
^ Дехзанги, Омид; Тахерисадр, Моджтаба; Чангалвала, Рагвендар (2017). «Распознавание походки на основе IMU с использованием сверточных нейронных сетей и мультисенсорного слияния». Датчики . 17 (12): 2735. Бибкод : 2017Senso..17.2735D. дои : 10.3390/s17122735 . ISSN 1424-8220. ПМК 5750784 . ПМИД 29186887.
^ Гюнтерберг, Э.; Янг, А.Я.; Гасемзаде, Х.; Джафари, Р.; Байчи, Р.; Шастри, С.С. (2009). «Метод извлечения временных параметров на основе скрытых марковских моделей в сенсорных сетях тела с инерционными датчиками» (PDF) . Труды IEEE по информационным технологиям в биомедицине . 13 (6): 1019–1030. doi :10.1109/TITB.2009.2028421. ISSN 1089-7771. PMID 19726268. S2CID 1829011.
^ аб Паризи, Федерико; Феррари, Джанлуиджи; Джуберти, Маттео; Контин, Лаура; Чимолин, Вероника; Аззаро, Коррадо; Альбани, Джованни; Мауро, Алессандро (2016). «Инерционная характеристика на основе BSN и автоматическая оценка UPDRS задачи походки у больных паркинсонизмом». Транзакции IEEE для аффективных вычислений . 7 (3): 258–271. дои : 10.1109/TAFFC.2016.2549533. ISSN 1949-3045. S2CID 16866555.
^ ab Гао, Лей; Бурк, АК; Нельсон, Джон (2014). «Оценка систем распознавания активности с несколькими датчиками на основе акселерометра по сравнению с системами с одним датчиком». Медицинская инженерия и физика . 36 (6): 779–785. doi :10.1016/j.medengphy.2014.02.012. ISSN 1350-4533. PMID 24636448.
^ Сюй, Джеймс Ю.; Ван, Янь; Барретт, Мик; Добкин, Брюс; Потти, Грег Дж.; Кайзер, Уильям Дж. (2016). «Персонализированное многослойное повседневное профилирование жизни с помощью контекстно-активной классификации активности и реконструкции движения: комплексный системный подход». Журнал IEEE по биомедицинской и медицинской информатике . 20 (1): 177–188. doi : 10.1109/JBHI.2014.2385694 . ISSN 2168-2194. PMID 25546868. S2CID 16785375.
^ Чиа Бежарано, Ноэлия; Амброзини, Эмилия; Педрокки, Алессандра; Ферриньо, Джанкарло; Монтиконе, Марко; Ферранте, Симона (2015). «Новый адаптивный алгоритм реального времени для обнаружения событий походки с помощью носимых датчиков». Труды IEEE по нейронным системам и реабилитационной технике . 23 (3): 413–422. doi : 10.1109/TNSRE.2014.2337914. hdl : 11311/865739 . ISSN 1534-4320. PMID 25069118. S2CID 25828466.
^ Ван, Чжэлун; Цю, Сен; Цао, Чжункай; Цзян, Мин (2013). «Количественная оценка анализа двойной походки на основе инерционных датчиков с сетью датчиков тела». Sensor Review . 33 (1): 48–56. doi :10.1108/02602281311294342. ISSN 0260-2288.
^ Конг, Вэйшэн; Ваньнинг, Лорен; Сесса, Сальваторе; Зекка, Массимилиано; Маджистро, Даниэле; Такеучи, Хикару; Кавасима, Рюта; Таканиши, Ацуо (2017). «Последовательность шагов и обнаружение направления четырехквадратного шагового теста» (PDF) . IEEE Robotics and Automation Letters . 2 (4): 2194–2200. doi :10.1109/LRA.2017.2723929. ISSN 2377-3766. S2CID 23410874.
^ Переосмысление уровней слияния данных JDL
^ Блаш, Э., Плано, С. (2003) «Уровень 5: Уточнение пользователем для содействия процессу слияния», Труды SPIE, том 5099.
^ J. Llinas; C. Bowman; G. Rogova; A. Steinberg; E. Waltz; F. White (2004). Пересмотр модели слияния данных JDL II . Международная конференция по слиянию информации. CiteSeerX 10.1.1.58.2996 .
^ Блаш, Э. (2006) «Управление ресурсами датчика, пользователя, миссии (SUM) и их взаимодействие с объединением уровней 2/3 ^{[ постоянная неработающая ссылка ‍ ]} » Международная конференция по объединению информации.
^ «Использование всей мощи сенсорного слияния -». 3 апреля 2024 г.
^ Блаш, Э., Стейнберг, А., Дас, С., Ллинас, Дж., Чонг, С.-Й., Кесслер, О., Уолц, Э., Уайт, Ф. (2013) «Пересмотр модели JDL для использования информации», Международная конференция по слиянию информации.
^ ab Gravina, Raffaele; Alinia, Parastoo; Ghasemzadeh, Hassan; Fortino, Giancarlo (2017). «Мультисенсорное слияние в сенсорных сетях тела: современные и исследовательские проблемы». Information Fusion . 35 : 68–80. doi : 10.1016/j.inffus.2016.09.005. ISSN 1566-2535. S2CID 40608207.
^ Гао, Тэн; Сун, Цзинь-Янь; Цзоу, Цзи-Янь; Дин, Цзинь-Хуа; Ван, Дэ-Куан; Цзинь, Жэнь-Чэн (2015). «Обзор механизмов компромисса производительности в протоколе маршрутизации для экологически чистых беспроводных сенсорных сетей». Беспроводные сети . 22 (1): 135–157. doi :10.1007/s11276-015-0960-x. ISSN 1022-0038. S2CID 34505498.
^ ab Chen, Chen; Jafari, Roozbeh; Kehtarnavaz, Nasser (2015). «Обзор слияния глубинных и инерциальных датчиков для распознавания действий человека». Multimedia Tools and Applications . 76 (3): 4405–4425. doi :10.1007/s11042-015-3177-1. ISSN 1380-7501. S2CID 18112361.
^ Банович, Никола; Бузали, Тофи; Шевалье, Фанни; Манкофф, Дженнифер; Дей, Анинд К. (2016). «Моделирование и понимание повседневного поведения человека». Труды конференции CHI 2016 года по человеческому фактору в вычислительных системах — CHI '16 . С. 248–260. doi :10.1145/2858036.2858557. ISBN 9781450333627. S2CID 872756.
^ Мария, Айлени Ралука; Север, Паска; Карлос, Вальдеррама (2015). «Алгоритм слияния данных биомедицинских датчиков для повышения эффективности отказоустойчивых систем в случае носимых электронных устройств». Конференция 2015 года «Сетевые, облачные и высокопроизводительные вычисления в науке» (ROLCG) . стр. 1–4. doi :10.1109/ROLCG.2015.7367228. ISBN 978-6-0673-7040-9. S2CID 18782930.
^ Гросс, Джейсон; Ю Гу; Мэтью Руди; Шрикант Гурураджан; Марчелло Наполитано (июль 2012 г.). «Оценка летных испытаний алгоритмов объединения датчиков для оценки ориентации». Транзакции IEEE по аэрокосмическим и электронным системам . 48 (3): 2128–2139. Бибкод : 2012ITAES..48.2128G. дои : 10.1109/TAES.2012.6237583. S2CID 393165.
^ Джоши, В., Раджамани, Н., Такаюки, К., Пратапанени, Н., Субраманиам, Л. В. (2013). Обучение на основе слияния информации для экономичного определения состояния дорожного движения . Труды Двадцать третьей Международной совместной конференции по искусственному интеллекту.{{cite conference}}: CS1 maint: multiple names: authors list (link)
^ Mircea Paul, Muresan; Ion, Giosan; Sergiu, Nedevschi (2020-02-18). "Стабилизация и проверка положения 3D-объекта с использованием мультимодального слияния датчиков и семантической сегментации". Датчики . 20 (4): 1110. Bibcode :2020Senso..20.1110M. doi : 10.3390/s20041110 . PMC 7070899 . PMID 32085608.
^ Ран, Линянь; Чжан, Яньнин; Вэй, Вэй; Чжан, Цилинь (2017-10-23). «Структура классификации гиперспектральных изображений с пространственными характеристиками пар пикселей». Датчики . 17 (10): 2421. Bibcode : 2017Senso..17.2421R. doi : 10.3390/s17102421 . PMC 5677443. PMID 29065535 .

Внешние ссылки

Дискриминантный корреляционный анализ (DCA) ^[1]
Международное общество слияния информации

^ Хагигат, Мохаммад; Абдель-Мотталеб, Мохамед; Альхалаби, Вади (2016). «Дискриминантный корреляционный анализ: слияние на уровне признаков в реальном времени для мультимодального биометрического распознавания». Труды IEEE по информационной криминалистике и безопасности . 11 (9): 1984–1996. doi :10.1109/TIFS.2016.2569061. S2CID 15624506.