Слияние датчиков

Объединение данных датчиков из разнородных источников

Слияние датчиков Eurofighter

Слияние датчиков — это процесс объединения данных датчиков или данных, полученных из разнородных источников, так что полученная информация имеет меньшую неопределенность, чем это было бы возможно, если бы эти источники использовались по отдельности. Например, можно потенциально получить более точную оценку местоположения внутреннего объекта, объединив несколько источников данных, таких как видеокамеры и сигналы локализации WiFi . Термин «снижение неопределенности» в этом случае может означать более точный, более полный или более надежный, или относиться к результату возникающей точки зрения, такой как стереоскопическое зрение (вычисление информации о глубине путем объединения двухмерных изображений с двух камер с немного разных точек зрения). ^{[1] [2]}

Источники данных для процесса слияния не указываются как исходящие из идентичных датчиков. Можно выделить прямое слияние , косвенное слияние и слияние выходов первых двух. Прямое слияние — это слияние данных датчиков из набора гетерогенных или гомогенных датчиков, мягких датчиков и исторических значений данных датчиков, в то время как косвенное слияние использует источники информации, такие как априорные знания об окружающей среде и человеческий ввод.

Слияние датчиков также известно как (мультисенсорное) слияние данных и является подмножеством слияния информации .

Примеры датчиков

• Акселерометры
• Электронные меры поддержки (ESM)
• Вспышка ЛИДАР
• Глобальная система позиционирования (GPS)
• Инфракрасная/ тепловизионная камера
• Магнитные датчики
• МЭМС
• Фазированная решетка
• Радар
• Радиотелескопы , такие как предлагаемая антенная решетка площадью в квадратный километр , крупнейший датчик, когда-либо созданный
• Сканирующий ЛИДАР
• Сейсмические датчики
• Сонар и другие акустические
• Гидроакустические буи
• Телевизионные камеры
• →Дополнительный список датчиков

Алгоритмы

Термин «слияние датчиков» охватывает ряд методов и алгоритмов, в том числе:

• Фильтр Калмана ^[3]
• Байесовские сети
• Демпстер–Шейфер
• Сверточная нейронная сеть
• Гауссовские процессы ^{[4] [5]}

Примеры расчетов

Ниже приведены два примера расчетов слияния датчиков.

Пусть и обозначают два измерения датчика с дисперсиями шума и , соответственно. Один из способов получения комбинированного измерения — это применение обратного взвешивания дисперсии , которое также используется в сглаживателе с фиксированным интервалом Фрейзера-Поттера, а именно ^[6] ${\displaystyle {\textbf {x}}_{1}}$ ${\displaystyle {\textbf {x}}_{2}}$ ${\displaystyle \scriptstyle \sigma _{1}^{2}}$ ${\displaystyle \scriptstyle \sigma _{2}^{2}}$ ${\displaystyle {\textbf {x}}_{3}}$

${\displaystyle {\textbf {x}}_{3}=\sigma _{3}^{2}(\sigma _{1}^{-2}{\textbf {x}}_{1}+\sigma _{2}^{-2}{\textbf {x}}_{2})}$,

где — дисперсия объединенной оценки. Видно, что объединенный результат — это просто линейная комбинация двух измерений, взвешенных по их соответствующим шумовым дисперсиям. ${\displaystyle \scriptstyle \sigma _{3}^{2}=(\scriptstyle \sigma _{1}^{-2}+\scriptstyle \sigma _{2}^{-2})^{-1}}$

Другой (эквивалентный) метод объединения двух измерений заключается в использовании оптимального фильтра Калмана . Предположим, что данные генерируются системой первого порядка, и пусть обозначает решение уравнения Риккати фильтра . Применяя правило Крамера в расчете усиления, можно обнаружить, что усиление фильтра определяется по формуле: ^{[ необходима цитата ]} ${\displaystyle {\textbf {P}}_{k}}$

${\displaystyle {\textbf {L}}_{k}={\begin{bmatrix}{\tfrac {\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}&{\tfrac {\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}\end{bmatrix}}.}$

При проверке, когда первое измерение свободно от шума, фильтр игнорирует второе измерение и наоборот. То есть, комбинированная оценка взвешивается по качеству измерений.

Централизованный против децентрализованного

В слиянии датчиков централизованный против децентрализованного относится к тому, где происходит слияние данных. При централизованном слиянии клиенты просто пересылают все данные в центральное местоположение, и некая сущность в центральном местоположении отвечает за корреляцию и слияние данных. При децентрализованном слиянии клиенты берут на себя полную ответственность за слияние данных. «В этом случае каждый датчик или платформу можно рассматривать как интеллектуальный актив, имеющий некоторую степень автономии в принятии решений». ^[7]

Существуют многочисленные комбинации централизованных и децентрализованных систем.

Другая классификация конфигурации датчиков относится к координации потока информации между датчиками. ^{[8] [9]} Эти механизмы предоставляют способ разрешения конфликтов или разногласий и позволяют разрабатывать динамические стратегии обнаружения. Датчики находятся в избыточной (или конкурентной) конфигурации, если каждый узел предоставляет независимые меры одних и тех же свойств. Эта конфигурация может использоваться для исправления ошибок при сравнении информации с нескольких узлов. Избыточные стратегии часто используются с высокоуровневыми слияниями в процедурах голосования. ^{[10] [11]} Дополнительная конфигурация возникает, когда несколько источников информации предоставляют разную информацию об одних и тех же функциях. Эта стратегия используется для слияния информации на уровне необработанных данных в алгоритмах принятия решений. Дополнительные функции обычно применяются в задачах распознавания движения с помощью нейронной сети , ^{[12] [13]} скрытой марковской модели , ^{[14] [15]} опорно-векторной машины , ^[16] методов кластеризации и других методов. ^{[16] [15]} Кооперативное слияние датчиков использует информацию, извлеченную несколькими независимыми датчиками, для предоставления информации, которая не была бы доступна с помощью отдельных датчиков. Например, датчики, подключенные к сегментам тела, используются для определения угла между ними. Кооперативная стратегия датчиков дает информацию, которую невозможно получить из отдельных узлов. Кооперативное слияние информации может использоваться в распознавании движения, ^[17] анализ походки , анализ движения , ^{[18] [19]} ,. ^[20]

Уровни

Существует несколько категорий или уровней слияния датчиков, которые обычно используются. ^{[21] [22] [23] [24] [25] [26]}

• Уровень 0 – Выравнивание данных
• Уровень 1 – Оценка сущности (например, сигнал/признак/объект).
  • Отслеживание и обнаружение/распознавание/идентификация объектов
• Уровень 2 – Оценка ситуации
• Уровень 3 – Оценка воздействия
• Уровень 4 – Усовершенствование процесса (т.е. управление датчиками)
• Уровень 5 – Пользовательская уточнение

Уровень слияния датчиков также можно определить на основе типа информации, используемой для подачи в алгоритм слияния. ^[27] Точнее, слияние датчиков можно выполнить, объединяя необработанные данные, поступающие из разных источников, экстраполированные характеристики или даже решения, принятые отдельными узлами.

• Уровень данных - слияние на уровне данных (или раннее) направлено на слияние необработанных данных из нескольких источников и представление метода слияния на самом низком уровне абстракции. Это наиболее распространенный метод слияния датчиков во многих областях применения. Алгоритмы слияния на уровне данных обычно направлены на объединение нескольких однородных источников сенсорных данных для получения более точных и синтетических показаний. ^[28] При использовании портативных устройств сжатие данных представляет собой важный фактор, поскольку сбор необработанной информации из нескольких источников генерирует огромные информационные пространства, которые могут определять проблему с точки зрения памяти или пропускной способности связи для портативных систем. Слияние информации на уровне данных имеет тенденцию генерировать большие входные пространства, которые замедляют процедуру принятия решений. Кроме того, слияние на уровне данных часто не может обрабатывать неполные измерения. Если одна модальность датчика становится бесполезной из-за неисправностей, поломки или других причин, все системы могут прийти к неоднозначным результатам.
• Уровень признаков — признаки представляют собой информацию, вычисленную на борту каждым сенсорным узлом. Затем эти признаки отправляются в узел слияния для подачи в алгоритм слияния. ^[29] Эта процедура генерирует меньшие информационные пространства по сравнению с слиянием на уровне данных, и это лучше с точки зрения вычислительной нагрузки. Очевидно, важно правильно выбрать признаки, на основе которых будут определяться процедуры классификации: выбор наиболее эффективного набора признаков должен быть основным аспектом при разработке метода. Использование алгоритмов выбора признаков, которые должным образом обнаруживают коррелированные признаки и подмножества признаков, повышает точность распознавания, но для поиска наиболее значимого подмножества признаков обычно требуются большие обучающие наборы. ^[27]
• Уровень принятия решения - слияние на уровне принятия решения (или позднее) - это процедура выбора гипотезы из набора гипотез, сгенерированных индивидуальными (обычно более слабыми) решениями нескольких узлов. ^[30] Это самый высокий уровень абстракции, который использует информацию, которая уже была разработана с помощью предварительной обработки данных или уровня признаков. Основная цель слияния решений - использовать классификатор метауровня, в то время как данные из узлов предварительно обрабатываются путем извлечения из них признаков. ^[31] Обычно слияние датчиков на уровне принятия решения используется в деятельности по классификации и распознаванию, и два наиболее распространенных подхода - это голосование большинства и наивный байесовский подход. ^{[ необходима цитата ]} Преимущества, получаемые от слияния на уровне принятия решения, включают пропускную способность связи и улучшенную точность принятия решения. Он также позволяет комбинировать разнородные датчики. ^[29]

Приложения

Одним из применений слияния датчиков является GPS/INS , где данные глобальной системы позиционирования и инерциальной навигационной системы объединяются с использованием различных методов, например, расширенного фильтра Калмана . Это полезно, например, при определении положения самолета с использованием недорогих датчиков. ^[32] Другим примером является использование подхода слияния данных для определения состояния дорожного движения (низкое движение, пробка, средний поток) с использованием собранных на обочине дороги акустических данных, изображений и данных датчиков. ^[33] В области автономного вождения слияние датчиков используется для объединения избыточной информации от дополнительных датчиков с целью получения более точного и надежного представления окружающей среды. ^[34]

Хотя технически это не специализированный метод слияния датчиков, современные методы на основе сверточных нейронных сетей могут одновременно обрабатывать множество каналов данных датчиков (например, гиперспектральные изображения с сотнями полос ^[35] ) и объединять соответствующую информацию для получения результатов классификации.

Смотрите также

• Алгоритм Брукса-Айенгара
• Данные (вычисления)
• Сбор данных
• Метод Фишера для объединения независимых тестов значимости
• Слияние изображений
• Мультимодальная интеграция
• Сенсорная сетка
• Язык разметки датчиков (TML) — это язык разметки на основе XML, который обеспечивает объединение датчиков.

Ссылки

1. Элменрайх, В. (2002). Слияние датчиков в системах с временным запуском, докторская диссертация (PDF) . Вена, Австрия: Венский технический университет. стр. 173.
2. Хагигат, Мохаммад Багер Акбари; Агаголзаде, Али; Сейедараби, Хади (2011). «Многофокусное слияние изображений для сетей визуальных датчиков в области DCT». Компьютеры и электротехника . 37 (5): 789–797. doi :10.1016/j.compeleceng.2011.04.016. S2CID  38131177.
3. Ли, Ванъянь; Ван, Цзыдун; Вэй, Гуолян; Ма, Лифенг; Ху, Цзюнь; Дин, Деруй (2015). «Обзор мультисенсорного слияния и консенсусной фильтрации для сенсорных сетей». Дискретная динамика в природе и обществе . 2015 : 1–12. doi : 10.1155/2015/683701 . ISSN  1026-0226.
4. Badeli, Vahid; Ranftl, Sascha; Melito, Gian Marco; Reinbacher-Köstinger, Alice; Von Der Linden, Wolfgang; Ellermann, Katrin; Biro, Oszkar (2021-01-01). "Байесовский вывод многосенсорной импедансной кардиографии для обнаружения расслоения аорты". COMPEL - Международный журнал вычислений и математики в электротехнике и электронной технике . 41 (3): 824–839. doi :10.1108/COMPEL-03-2021-0072. ISSN  0332-1649. S2CID  245299500.
5. Ранфтл, Саша; Мелито, Джан Марко; Бадели, Вахид; Рейнбахер-Кёстингер, Элис; Эллерманн, Катрин; фон дер Линден, Вольфганг (2019-12-31). "Байесовская количественная оценка неопределенности с использованием данных с множественной точностью и гауссовых процессов для импедансной кардиографии расслоения аорты". Энтропия . 22 (1): 58. doi : 10.3390/e22010058 . ISSN  1099-4300. PMC 7516489. PMID 33285833  . 
6. Мейбек, С. (1982). Стохастические модели, оценка и управление . River Edge, NJ: Academic Press.
7. Н. Сюн; П. Свенссон (2002). «Мультисенсорное управление для слияния информации: проблемы и подходы». Слияние информации. стр. 3(2):163–186.
8. Дюррант-Уайт, Хью Ф. (2016). «Модели датчиков и мультисенсорная интеграция». Международный журнал исследований робототехники . 7 (6): 97–113. doi :10.1177/027836498800700608. ISSN  0278-3649. S2CID  35656213.
9. Галар, Диего; Кумар, Удай (2017). eMaintenance: Essential Electronic Tools for Efficiency . Academic Press. стр. 26. ISBN 9780128111543.
10. Ли, Вэньфэн; Бао, Цзюньжун; Фу, Сювэнь; Фортино, Джанкарло; Галзарано, Стефано (2012). «Распознавание поз человека на основе теории доказательств DS и слияния данных с нескольких датчиков». 2012 12-й Международный симпозиум IEEE/ACM по кластерным, облачным и грид-вычислениям (ccgrid 2012) . стр. 912–917. doi :10.1109/CCGrid.2012.144. ISBN 978-1-4673-1395-7. S2CID  1571720.
11. Фортино, Джанкарло; Гравина, Раффаэле (2015). «Fall-MobileGuard: интеллектуальная система обнаружения падений в реальном времени». Труды 10-й Международной конференции EAI по сетям области тела . doi :10.4108/eai.28-9-2015.2261462. ISBN 978-1-63190-084-6. S2CID  38913107.
12. Тао, Шуай; Чжан, Сяовэй; Цай, Хуаин; Лв, Цзэпин; Ху, Цайю; Се, Хайцюнь (2018). «Биометрическая аутентификация личности на основе походки с использованием инерциальных датчиков MEMS». Журнал Ambient Intelligence and Humanized Computing . 9 (5): 1705–1712. doi :10.1007/s12652-018-0880-6. ISSN  1868-5137. S2CID  52304214.
13. Дехзанджи, Омид; Тахерисадр, Моджтаба; ЧангалВала, Рагхвендар (2017). «Распознавание походки на основе ИМУ с использованием сверточных нейронных сетей и слияния нескольких датчиков». Датчики . 17 (12): 2735. Bibcode : 2017Senso..17.2735D. doi : 10.3390/s17122735 . ISSN  1424-8220. PMC 5750784. PMID 29186887  . 
14. Гюнтерберг, Э.; Янг, А.Я.; Гасемзаде, Х.; Джафари, Р.; Байчи, Р.; Шастри, С.С. (2009). «Метод извлечения временных параметров на основе скрытых марковских моделей в сенсорных сетях тела с инерционными датчиками» (PDF) . Труды IEEE по информационным технологиям в биомедицине . 13 (6): 1019–1030. doi :10.1109/TITB.2009.2028421. ISSN  1089-7771. PMID  19726268. S2CID  1829011.
15. Parisi, Federico; Ferrari, Gianluigi; Giuberti, Matteo; Contin, Laura; Cimolin, Veronica; Azzaro, Corrado; Albani, Giovanni; Mauro, Alessandro (2016). «Инерциальная характеристика на основе BSN и автоматическая оценка UPDRS задачи походки у паркинсонистов». IEEE Transactions on Affective Computing . 7 (3): 258–271. doi :10.1109/TAFFC.2016.2549533. ISSN  1949-3045. S2CID  16866555.
16. Гао, Лей; Бурк, АК; Нельсон, Джон (2014). «Оценка систем распознавания активности с несколькими датчиками на основе акселерометра по сравнению с системами с одним датчиком». Медицинская инженерия и физика . 36 (6): 779–785. doi :10.1016/j.medengphy.2014.02.012. ISSN  1350-4533. PMID  24636448.
17. Сюй, Джеймс Ю.; Ван, Янь; Барретт, Мик; Добкин, Брюс; Потти, Грег Дж.; Кайзер, Уильям Дж. (2016). «Персонализированное многослойное профилирование повседневной жизни с помощью контекстно-активной классификации активности и реконструкции движения: комплексный системный подход». IEEE Journal of Biomedical and Health Informatics . 20 (1): 177–188. doi : 10.1109/JBHI.2014.2385694 . ISSN  2168-2194. PMID  25546868. S2CID  16785375.
18. Chia Bejarano, Noelia; Ambrosini, Emilia; Pedrocchi, Alessandra; Ferrigno, Giancarlo; Monticone, Marco; Ferrante, Simona (2015). «Новый адаптивный алгоритм реального времени для обнаружения событий походки с помощью носимых датчиков». IEEE Transactions on Neural Systems and Rehabilitation Engineering . 23 (3): 413–422. doi : 10.1109/TNSRE.2014.2337914. hdl : 11311/865739 . ISSN  1534-4320. PMID  25069118. S2CID  25828466.
19. Ван, Чжэлун; Цю, Сен; Цао, Чжункай; Цзян, Мин (2013). «Количественная оценка анализа двойной походки на основе инерционных датчиков с сетью датчиков тела». Sensor Review . 33 (1): 48–56. doi :10.1108/02602281311294342. ISSN  0260-2288.
20. Конг, Вэйшэн; Ваньнинг, Лорен; Сесса, Сальваторе; Зекка, Массимилиано; Маджистро, Даниэле; Такеучи, Хикару; Кавасима, Рюта; Таканиши, Ацуо (2017). «Последовательность шагов и обнаружение направления четырехквадратного шагового теста» (PDF) . IEEE Robotics and Automation Letters . 2 (4): 2194–2200. doi :10.1109/LRA.2017.2723929. ISSN  2377-3766. S2CID  23410874.
21. Переосмысление уровней слияния данных JDL
22. Блаш, Э., Плано, С. (2003) «Уровень 5: Уточнение пользователем для содействия процессу слияния», Труды SPIE, том 5099.
23. J. Llinas; C. Bowman; G. Rogova; A. Steinberg; E. Waltz; F. White (2004). Пересмотр модели слияния данных JDL II . Международная конференция по слиянию информации. CiteSeerX 10.1.1.58.2996 . 
24. Блаш, Э. (2006) «Управление ресурсами датчика, пользователя, миссии (SUM) и их взаимодействие с объединением уровней 2/3 ^{[ постоянная неработающая ссылка ]} » Международная конференция по объединению информации.
25. «Использование всей мощи сенсорного слияния -». 3 апреля 2024 г.
26. Блаш, Э., Стейнберг, А., Дас, С., Ллинас, Дж., Чонг, С.-Й., Кесслер, О., Уолц, Э., Уайт, Ф. (2013) «Пересмотр модели JDL для использования информации», Международная конференция по слиянию информации.
27. Гравина, Раффаэле; Алина, Парастоо; Гасемзаде, Хассан; Фортино, Джанкарло (2017). «Мультисенсорное слияние в сенсорных сетях тела: современные и исследовательские проблемы». Information Fusion . 35 : 68–80. doi : 10.1016/j.inffus.2016.09.005. ISSN  1566-2535. S2CID  40608207.
28. Гао, Тэн; Сун, Цзинь-Янь; Цзоу, Цзи-Янь; Дин, Цзинь-Хуа; Ван, Дэ-Куан; Цзинь, Жэнь-Чэн (2015). «Обзор механизмов компромисса производительности в протоколе маршрутизации для экологически чистых беспроводных сенсорных сетей». Беспроводные сети . 22 (1): 135–157. doi :10.1007/s11276-015-0960-x. ISSN  1022-0038. S2CID  34505498.
29. Chen, Chen; Jafari, Roozbeh; Kehtarnavaz, Nasser (2015). «Обзор слияния глубинных и инерциальных датчиков для распознавания действий человека». Multimedia Tools and Applications . 76 (3): 4405–4425. doi :10.1007/s11042-015-3177-1. ISSN  1380-7501. S2CID  18112361.
30. Банович, Никола; Бузали, Тофи; Шевалье, Фанни; Манкофф, Дженнифер; Дей, Анинд К. (2016). «Моделирование и понимание повседневного поведения человека». Труды конференции CHI 2016 года по человеческому фактору в вычислительных системах — CHI '16 . С. 248–260. doi :10.1145/2858036.2858557. ISBN 9781450333627. S2CID  872756.
31. Мария, Айлени Ралука; Север, Паска; Карлос, Вальдеррама (2015). «Алгоритм слияния данных биомедицинских датчиков для повышения эффективности отказоустойчивых систем в случае носимых электронных устройств». Конференция 2015 года «Сетка, облако и высокопроизводительные вычисления в науке» (ROLCG) . стр. 1–4. doi :10.1109/ROLCG.2015.7367228. ISBN 978-6-0673-7040-9. S2CID  18782930.
32. Гросс, Джейсон; Ю Гу; Мэтью Руди; Шрикант Гурураджан; Марчелло Наполитано (июль 2012 г.). «Оценка летных испытаний алгоритмов слияния датчиков для оценки положения». Труды IEEE по аэрокосмическим и электронным системам . 48 (3): 2128–2139. Bibcode : 2012ITAES..48.2128G. doi : 10.1109/TAES.2012.6237583. S2CID  393165.
33. Джоши, В., Раджамани, Н., Такаюки, К., Пратапанени, Н., Субраманиам, Л. В. (2013). Обучение на основе слияния информации для экономичного определения состояния дорожного движения . Труды Двадцать третьей Международной совместной конференции по искусственному интеллекту.{{cite conference}}: CS1 maint: multiple names: authors list (link)
34. Mircea Paul, Muresan; Ion, Giosan; Sergiu, Nedevschi (2020-02-18). "Стабилизация и проверка положения 3D-объекта с использованием мультимодального слияния датчиков и семантической сегментации". Датчики . 20 (4): 1110. Bibcode :2020Senso..20.1110M. doi : 10.3390/s20041110 . PMC 7070899 . PMID  32085608. 
35. Ран, Линянь; Чжан, Яньнин; Вэй, Вэй; Чжан, Цилинь (2017-10-23). ​​«Структура классификации гиперспектральных изображений с пространственными характеристиками пар пикселей». Датчики . 17 (10): 2421. Bibcode : 2017Senso..17.2421R. doi : 10.3390/s17102421 . PMC 5677443. PMID  29065535 . 

Внешние ссылки

• Дискриминантный корреляционный анализ (DCA) ^[1]
• Международное общество слияния информации

1. Хагигат, Мохаммад; Абдель-Мотталеб, Мохамед; Альхалаби, Вади (2016). «Дискриминантный корреляционный анализ: слияние на уровне признаков в реальном времени для мультимодального биометрического распознавания». Труды IEEE по информационной криминалистике и безопасности . 11 (9): 1984–1996. doi :10.1109/TIFS.2016.2569061. S2CID  15624506.