Признание активности

Recognition of events from videos or sensors

Распознавание активности направлено на распознавание действий и целей одного или нескольких агентов на основе серии наблюдений за действиями агентов и условиями окружающей среды. С 1980-х годов эта область исследований привлекла внимание нескольких сообществ компьютерных наук благодаря своей способности обеспечивать персонализированную поддержку множества различных приложений и ее связи со многими различными областями исследований, такими как медицина, взаимодействие человека и компьютера или социология.

Из-за его многогранного характера в разных областях распознавание деятельности может называться распознаванием плана, распознаванием цели, распознаванием намерений, распознаванием поведения, оценкой местоположения и услугами, основанными на местоположении .

Типы

Распознавание активности одного пользователя на основе датчиков

Распознавание активности на основе датчиков объединяет развивающуюся область сенсорных сетей с новыми методами интеллектуального анализа данных и машинного обучения для моделирования широкого спектра человеческой деятельности. ^{[1] [2]} Мобильные устройства (например, смартфоны) предоставляют достаточные данные датчиков и вычислительную мощность, позволяющие распознавать физическую активность и оценивать потребление энергии в повседневной жизни. Исследователи распознавания активности на основе датчиков полагают, что, предоставив вездесущим компьютерам и датчикам возможность отслеживать поведение агентов (с согласия), эти компьютеры будут лучше подходить для действий от нашего имени. Визуальные датчики, которые включают информацию о цвете и глубине, такие как Kinect , обеспечивают более точное автоматическое распознавание действий и объединяют многие новые приложения, такие как интерактивное образование ^[3] и интеллектуальные среды. ^[4] Несколько представлений визуального датчика позволяют развивать машинное обучение для автоматического распознавания действий, инвариантных к виду. ^[5] Более совершенные датчики, используемые в системах 3D- захвата движения , обеспечивают высокоточное автоматическое распознавание без затрат на более сложную настройку аппаратной системы. ^[6]

Уровни распознавания активности на основе датчиков

Распознавание активности на основе датчиков является сложной задачей из-за присущей входным сигналам зашумленности. Таким образом, статистическое моделирование было основным направлением в этом направлении на уровнях, где распознавание на нескольких промежуточных уровнях проводится и связывается. На самом низком уровне, где собираются данные датчиков, статистическое обучение касается того, как найти подробное местоположение агентов на основе полученных данных сигнала. На промежуточном уровне статистический вывод может быть связан с тем, как распознать действия людей на основе предполагаемых последовательностей местоположений и условий окружающей среды на более низких уровнях. Более того, на самом высоком уровне главной задачей является выяснение общей цели или подцелей агента на основе последовательностей действий посредством сочетания логических и статистических рассуждений.

Распознавание активности нескольких пользователей на основе датчиков

Распознавание действий нескольких пользователей с использованием нательных датчиков впервые появилось в работе ORL с использованием систем активных бейджей ^[7] в начале 1990-х годов. Другие сенсорные технологии, такие как датчики ускорения, использовались для выявления моделей групповой активности во время офисных сценариев. ^[8] Деятельность нескольких пользователей в интеллектуальных средах рассматривается в Gu et al . ^[9] В этой работе они исследуют фундаментальную проблему распознавания действий нескольких пользователей по показаниям датчиков в домашней среде и предлагают новый подход к анализу шаблонов для распознавания как однопользовательских, так и многопользовательских действий в едином решении.

Распознавание групповой активности на основе датчиков

Распознавание групповой деятельности фундаментально отличается от распознавания одиночной или многопользовательской активности тем, что цель состоит в том, чтобы распознать поведение группы как целого, а не действия отдельных членов внутри нее. ^[10] Групповое поведение носит эмерджентный характер, что означает, что свойства поведения группы фундаментально отличаются от свойств поведения отдельных лиц внутри нее или любой суммы этого поведения. ^[11] Основные проблемы заключаются в моделировании поведения отдельных членов группы, а также ролей человека в групповой динамике ^[12] и их связи с возникающим поведением группы параллельно. ^[13] Проблемы, которые еще предстоит решить, включают количественную оценку поведения и ролей людей, которые присоединяются к группе, интеграцию явных моделей для описания ролей в алгоритмы вывода и оценки масштабируемости для очень больших групп и толп. Распознавание групповой активности имеет приложения для управления толпой и реагирования в чрезвычайных ситуациях, а также для социальных сетей и приложений Quantified Self . ^[14]

Подходы

Распознавание деятельности посредством логики и рассуждения

Подходы, основанные на логике, отслеживают все логически последовательные объяснения наблюдаемых действий. Таким образом, необходимо учитывать все возможные и последовательные планы и цели. Каутц предложил формальную теорию распознавания планов. Он описал распознавание плана как процесс логического вывода ограничений. Все действия и планы единообразно называются целями, а знания распознавателя представлены набором утверждений первого порядка, называемым иерархией событий. Иерархия событий кодируется логикой первого порядка, которая определяет абстракцию, декомпозицию и функциональные связи между типами событий. ^[15]

Общая структура Каутца для распознавания планов в худшем случае имеет экспоненциальную временную сложность, измеряемую размером входной иерархии. Леш и Этциони пошли еще дальше и представили методы расширения распознавания целей, чтобы расширить его вычислительную работу. В отличие от подхода Каутца, в котором библиотека планов представлена ​​явно, подход Леша и Эциони обеспечивает автоматическое построение библиотеки планов из примитивов предметной области. Кроме того, они представили компактные представления и эффективные алгоритмы распознавания целей в больших библиотеках планов. ^[16]

Непоследовательные планы и цели неоднократно отсекаются, когда появляются новые действия. Кроме того, они также представили методы адаптации устройства распознавания целей для обработки индивидуального идиосинкразического поведения с учетом образца недавнего поведения человека. Поллак и др. описал модель прямой аргументации, которая может знать об относительной силе нескольких видов аргументов для описания убеждений и намерений.

Серьезной проблемой подходов, основанных на логике, является их неспособность или присущая им невозможность представить неопределенность. Они не предлагают никакого механизма для предпочтения одного последовательного подхода другому и не способны решить, является ли один конкретный план более вероятным, чем другой, до тех пор, пока оба они могут быть достаточно последовательными, чтобы объяснить наблюдаемые действия. Существует также недостаток способности к обучению, связанной с методами, основанными на логике.

Другой подход к распознаванию действий на основе логики заключается в использовании потокового рассуждения на основе программирования набора ответов [ ^17] и был применен для распознавания действий для приложений, связанных со здоровьем, ^[18] который использует слабые ограничения для моделирования степени двусмысленности/неопределенности. .

Распознавание деятельности посредством вероятностного рассуждения

Теория вероятностей и статистические модели обучения в последнее время применяются при распознавании деятельности, чтобы рассуждать о действиях, планах и целях в условиях неопределенности. ^[19] В литературе существует несколько подходов, которые явно отражают неопределенность в рассуждениях о планах и целях агента.

Используя данные датчиков в качестве входных данных, Ходжес и Поллак разработали системы на основе машинного обучения для идентификации людей, выполняющих повседневные действия, такие как приготовление кофе. ^[20] Исследовательская лаборатория Intel (Сиэтл) и Вашингтонский университет в Сиэтле провели ряд важных работ по использованию датчиков для обнаружения планов человека. ^{[21] [22] [23]} Некоторые из этих работ выводят способы передвижения пользователя на основе показаний радиочастотных идентификаторов (RFID) и систем глобального позиционирования (GPS).

Было показано, что использование временных вероятностных моделей хорошо работает при распознавании активности и в целом превосходит нетемпоральные модели. ^[24] Генеративные модели, такие как скрытая марковская модель (HMM) и более широко сформулированные динамические байесовские сети (DBN), являются популярным выбором при моделировании деятельности на основе данных датчиков. ^{[25] [26] [27] [28]} Дискриминационные модели, такие как условные случайные поля (CRF), также широко применяются и также дают хорошие результаты при распознавании активности. ^{[29] [30]}

Генеративные и дискриминационные модели имеют свои плюсы и минусы, и идеальный выбор зависит от области их применения. Набор данных вместе с реализациями ряда популярных моделей (HMM, CRF) для распознавания активности можно найти здесь.

Обычные временные вероятностные модели, такие как скрытая модель Маркова (HMM) и модель условных случайных полей (CRF), напрямую моделируют корреляции между действиями и наблюдаемыми данными датчиков. В последние годы появляется все больше данных в пользу использования иерархических моделей, которые принимают во внимание богатую иерархическую структуру, существующую в данных о поведении человека. ^{[26] [31] [32]} Основная идея здесь заключается в том, что модель не коррелирует напрямую действия с данными датчиков, а вместо этого разбивает действие на поддействия (иногда называемые действиями) и соответствующим образом моделирует основные корреляции. . Примером может быть приготовление жаркого, которое можно разбить на поддействия или действия: нарезка овощей, обжаривание овощей на сковороде и подача их на тарелке. Примерами такой иерархической модели являются многослойные скрытые марковские модели (LHMM) ^[31] и иерархическая скрытая марковская модель (HHMM), которые, как было показано, значительно превосходят свой неиерархический аналог в распознавании активности. ^[26]

Подход к распознаванию активности, основанный на интеллектуальном анализе данных

В отличие от традиционных подходов машинного обучения, недавно был предложен подход, основанный на интеллектуальном анализе данных. В работе Гу и др. проблема распознавания активности формулируется как задача классификации на основе шаблонов. Они предложили подход к интеллектуальному анализу данных, основанный на дискриминационных шаблонах, которые описывают значительные изменения между любыми двумя классами данных, чтобы распознавать последовательные, чередующиеся и параллельные действия в едином решении. ^[33] Гилберт и др. используйте 2D углы как в пространстве, так и во времени. Они группируются в пространстве и времени с использованием иерархического процесса с увеличивающейся областью поиска. На каждом этапе иерархии наиболее отличительные и описательные признаки эффективно изучаются посредством интеллектуального анализа данных (правило априори). ^[34]

Распознавание активности на основе GPS

Распознавание активности на основе местоположения также может опираться на данные GPS для распознавания действий. ^{[35] [36]}

Использование датчика

Распознавание активности на основе зрения

Это очень важная и сложная задача — отслеживать и понимать поведение агентов с помощью видео, снятого различными камерами. Основной используемой технологией является компьютерное зрение . Распознавание активности на основе зрения нашло множество применений, таких как взаимодействие человека с компьютером, проектирование пользовательского интерфейса, обучение роботов и наблюдение, среди прочего. Научные конференции, на которых часто появляются работы по распознаванию деятельности на основе видения, - это ICCV и CVPR .

В области зрительного распознавания деятельности проделана большая работа. Исследователи опробовали ряд методов, таких как оптический поток , фильтрация Калмана , скрытые модели Маркова и т. д., в различных модальностях, таких как одна камера, стерео и инфракрасный порт. Кроме того, исследователи рассмотрели несколько аспектов этой темы, включая отслеживание одиночных пешеходов, групповое отслеживание и обнаружение упавших предметов.

Недавно некоторые исследователи использовали камеры RGBD , такие как Microsoft Kinect, для обнаружения человеческой деятельности. ^[37] Камеры глубины добавляют дополнительное измерение, то есть глубину, которую не может обеспечить обычная 2D-камера. Сенсорная информация от этих камер глубины была использована для создания скелетной модели человека в реальном времени с различными положениями тела. ^[38] Эта скелетная информация предоставляет значимую информацию, которую исследователи использовали для моделирования человеческой деятельности, которую обучают и позже используют для распознавания неизвестных действий. ^{[39] [40]}

В связи с недавним развитием глубокого обучения распознавание активности на основе видео RGB получило быстрое развитие. Он использует видео, снятые камерами RGB, в качестве входных данных и выполняет несколько задач, в том числе: классификацию видео, обнаружение начала и окончания действия на видео, а также пространственно-временную локализацию действия и людей, выполняющих это действие. ^[41] Методы оценки позы ^[42] позволяют извлечь более репрезентативные особенности скелета для распознавания действий. ^[43] Тем не менее, было обнаружено, что распознавание действий на основе глубокого обучения может пострадать от состязательных атак, когда злоумышленник незначительно изменяет входные данные, чтобы обмануть систему распознавания действий. ^[44]

Несмотря на значительный прогресс в распознавании активности на основе зрения, его использование для большинства реальных приложений визуального наблюдения остается далекой мечтой. ^[45] И наоборот, человеческий мозг, похоже, усовершенствовал способность распознавать действия человека. Эта способность зависит не только от приобретенных знаний, но и от способности извлекать информацию, соответствующую данному контексту, и логическим рассуждениям. На основании этого наблюдения было предложено усовершенствовать системы распознавания действий на основе зрения путем интеграции рассуждений, основанных на здравом смысле , а также контекстуальных и здравых знаний .

Иерархическое распознавание человеческой деятельности (HAR)

Иерархическое распознавание человеческой деятельности — это метод компьютерного зрения и машинного обучения. Его цель — идентифицировать и понимать действия или поведение человека на основе визуальных данных. Этот метод предполагает иерархическое структурирование действий, создание структуры, которая представляет связи и взаимозависимости между различными действиями. ^[46] Методы HAR можно использовать для понимания корреляций данных и основ моделирования, чтобы улучшить модели, сбалансировать проблемы точности и конфиденциальности в чувствительных областях приложений, а также для идентификации и управления тривиальными метками, которые не имеют отношения к конкретным случаям использования. ^[47]

Уровни зрительного распознавания активности

При распознавании активности на основе зрения вычислительный процесс часто делится на четыре этапа, а именно: обнаружение человека, отслеживание человека, распознавание активности человека и затем оценка активности на высоком уровне.

Детальная локализация действий

При распознавании активности на основе компьютерного зрения мелкозернистая локализация действий обычно обеспечивает маски сегментации для каждого изображения, очерчивающие человеческий объект и категорию его действия (например, Segment-Tube ^[48] ). Такие методы, как динамические марковские сети , CNN и LSTM, часто используются для использования семантических корреляций между последовательными видеокадрами. Геометрические детализированные функции, такие как ограничивающие рамки объектов и позы людей, облегчают распознавание активности с помощью графовой нейронной сети . ^{[41] [49]}

Автоматическое распознавание походки

Один из способов идентифицировать конкретных людей — это то, как они ходят. Программное обеспечение для распознавания походки можно использовать для записи походки человека или профиля его характеристик в базу данных с целью последующего распознавания этого человека, даже если он носит маскировку.

Распознавание активности на основе Wi-Fi

Когда распознавание активности выполняется внутри помещений и в городах с использованием широкодоступных сигналов Wi-Fi и точек доступа 802.11 , возникает много шума и неопределенности. Эти неопределенности можно смоделировать с помощью динамической модели байесовской сети . ^[50] В модели с множеством целей, которая может рассуждать о чередовании целей пользователя, применяется детерминированная модель перехода состояний. ^[51] Другой возможный метод моделирует параллельные и чередующиеся действия в вероятностном подходе. ^[52] Модель обнаружения действий пользователя может сегментировать сигналы Wi-Fi для выполнения возможных действий. ^[53]

Базовые модели распознавания Wi-Fi

Одна из основных идей распознавания активности Wi-Fi заключается в том, что когда сигнал проходит через тело человека во время передачи; что вызывает отражение, дифракцию и рассеяние. Исследователи могут получить информацию из этих сигналов для анализа деятельности человеческого организма.

Статическая модель передачи

Как показано в ^[54] , когда беспроводные сигналы передаются в помещении, препятствия, такие как стены, земля и человеческое тело, вызывают различные эффекты, такие как отражение, рассеяние, дифракция и дифракция. Таким образом, принимающая сторона одновременно получает несколько сигналов с разных путей, поскольку поверхности отражают сигнал во время передачи, что известно как эффект многолучевого распространения .

Статическая модель основана на этих двух видах сигналов: прямом сигнале и отраженном сигнале. Поскольку на прямом пути нет препятствий, прямую передачу сигнала можно смоделировать уравнением передачи Фрииса :

${\displaystyle P_{r}={\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}d^{2}}}}$

${\displaystyle P_{t}}$– мощность, подаваемая на входные клеммы передающей антенны;

${\displaystyle P_{r}}$— мощность, доступная на выходных клеммах приемной антенны;

${\displaystyle d}$– расстояние между антеннами;

${\displaystyle G_{t}}$– усиление передающей антенны;

${\displaystyle G_{r}}$принимает усиление антенны;

${\displaystyle \lambda }$длина волны радиочастоты

Если мы рассмотрим отраженный сигнал, новое уравнение будет иметь вид:

${\displaystyle P_{r}={\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}(d+4h)^{2}}}}$

${\displaystyle h}$— расстояние между точками отражения и прямым путем.

Когда появляется человек, у нас появляется новый путь передачи. Следовательно, окончательное уравнение:

${\displaystyle P_{r}={\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}(d+4h+\Delta )^{2}}}}$

${\displaystyle \Delta }$— это приблизительная разница пути, пройденного человеческим телом.

Динамическая модель трансмиссии

В этой модели мы рассматриваем движение человека, которое приводит к постоянному изменению пути передачи сигнала. Мы можем использовать доплеровский сдвиг для описания этого эффекта, связанного со скоростью движения.

${\displaystyle \Delta f={\frac {2v\cos \theta }{c}}f}$

Рассчитав доплеровский сдвиг принимаемого сигнала, мы можем выяснить характер движения, тем самым дополнительно идентифицируя деятельность человека. Например, в ^[55] доплеровский сдвиг используется в качестве отпечатка пальца для достижения высокоточной идентификации девяти различных моделей движения.

зона Френеля

Зона Френеля изначально использовалась для изучения интерференции и дифракции света, что позже использовалось для построения модели беспроводной передачи сигнала. Зона Френеля представляет собой серию эллиптических интервалов, фокусами которых являются положения отправителя и получателя.

Когда человек движется через разные зоны Френеля, путь сигнала, образуемый отражением человеческого тела, меняется, а если люди перемещаются вертикально через зоны Френеля, то изменение сигнала будет периодическим. В двух статьях Wang et.al. применил модель Френеля к задаче распознавания активности и получил более точный результат. ^{[56] [57]}

Моделирование человеческого тела

В некоторых задачах нам следует рассмотреть возможность точного моделирования человеческого тела, чтобы добиться лучших результатов. Например, ^[57] описал человеческое тело как концентрические цилиндры для обнаружения дыхания. Внешняя часть цилиндра обозначает грудную клетку, когда люди вдыхают, а внутренняя — когда люди выдыхают. Таким образом, разница между радиусами этих двух цилиндров представляет собой расстояние перемещения во время дыхания. Изменение фаз сигнала можно выразить следующим уравнением:

${\displaystyle \theta =2\pi {\frac {2\,\Delta d}{\lambda }}}$

${\displaystyle \theta }$– изменение фаз сигнала;

${\displaystyle \lambda }$– длина волны радиочастоты;

${\displaystyle \Delta d}$перемещается расстояние грудной клетки;

Наборы данных

Существует несколько популярных наборов данных, которые используются для сравнительного анализа алгоритмов распознавания активности или действий.

• UCF-101: Он состоит из 101 класса действий человека, более 13 тысяч клипов и 27 часов видеоданных. Занятия активными действиями включают нанесение макияжа, игру в дхол, бросок в крикет, бритье бороды и т. д. ^[58]
• HMDB51: это коллекция реалистичных видеороликов из различных источников, включая фильмы и веб-видео. Набор данных состоит из 6849 видеоклипов из 51 категории действий (таких как «прыгать», «поцелуй» и «смех»), причем каждая категория содержит не менее 101 клипа. ^[59]
• Кинетика: это значительно больший набор данных, чем предыдущие. Он содержит 400 классов действий человека и не менее 400 видеоклипов для каждого действия. Каждый клип длится около 10 секунд и взят из другого видео на YouTube. Этот набор данных был создан DeepMind. ^[60]

Приложения

Благодаря автоматическому мониторингу деятельности человека можно обеспечить реабилитацию на дому для людей, страдающих черепно-мозговыми травмами. Можно найти самые разные приложения: от приложений, связанных с безопасностью и логистической поддержкой, до услуг, основанных на определении местоположения . ^[61] Системы распознавания активности были разработаны для наблюдения за дикой природой ^[62] и энергосбережения в зданиях. ^[63]

Смотрите также

• AI-эффект
• Приложения искусственного интеллекта
• Условное случайное поле
• Распознавание жестов
• Скрытая модель Маркова
• Анализ движения
• Наивный классификатор Байеса
• Машины опорных векторов
• Совместная сегментация объектов
• Очерк искусственного интеллекта
• Анализ видеоконтента

Рекомендации

1. Танзим Чоудхури, Гаэтано Борриелло и др. Мобильная сенсорная платформа: встроенная система распознавания активности. Опубликовано в журнале IEEE Pervasive Magazine – специальный выпуск, посвященный вычислениям на основе действий, апрель 2008 г.
2. Нишкам Рави, Нихил Дандекар, Притам Майсур, Майкл Литтман. Распознавание активности по данным акселерометра. Материалы семнадцатой конференции по инновационным применениям искусственного интеллекта (IAAI/AAAI 2005).
3. Ян, Ян; Люнг, Ховард; Шум, Хьюберт П.Х.; Ли, Цзяо; Цзэн, Ланьлин; Аслам, Науман; Пан, Чжиген (2018). «CCESK: система обучения китайским иероглифам, основанная на Kinect». Транзакции IEEE по технологиям обучения . 11 (3): 342–347. дои : 10.1109/TLT.2017.2723888. S2CID  52899136.
4. Хо, Эдмонд С.Л.; Чан, Джеки CP; Чан, Дональд С.К.; Шум, Хьюберт П.Х.; Чунг, Ю-мин; Юэнь, ПК (2016). «Повышение точности классификации поз для мониторинга человеческой активности на основе датчиков глубины в умных средах». Компьютерное зрение и понимание изображений . 148 : 97–110. дои : 10.1016/j.cviu.2015.12.011 . S2CID  207060860.
5. Чжан, Цзинтянь; Шум, Хьюберт П.Х.; Хан, Юнгонг; Шао, Линг (2018). «Распознавание действий по произвольным представлениям с использованием переносимого словарного обучения». Транзакции IEEE при обработке изображений . 27 (10): 4709–4723. Бибкод : 2018ITIP...27.4709Z. дои : 10.1109/TIP.2018.2836323 . PMID  29994770. S2CID  49536771.
6. Шен, Ицзюнь; Ян, Лунчжи; Хо, Эдмонд С.Л.; Шум, Хьюберт П.Х. (2020). «Сравнение человеческой деятельности на основе взаимодействия». Транзакции IEEE по визуализации и компьютерной графике . 26 (8): 115673–115684. дои : 10.1109/TVCG.2019.2893247 . PMID  30703028. S2CID  73447673.
7. Хотите Р., Хоппер А., Фалькао В., Гиббонс Дж.: Система определения местоположения активных бейджей, Транзакции ACM с информацией, Системы, Vol. 40, № 1, стр. 91–102, январь 1992 г.
8. Бибер Г., Кирсте Т., Untersuruchung des gruppendynamischen Aktivitaetsverhaltes im Office-Umfeld, 7. Berliner Werkstatt Mensch-Maschine-Systeme, Берлин, Германия, 2007 г.
9. Тао Гу, Чжаньцин Ву, Лян Ван, Сяньпин Тао и Цзянь Лу. Анализ новых шаблонов распознавания действий нескольких пользователей в масштабных вычислениях. В Proc. 6-й Международной конференции по мобильным и повсеместным системам: вычисления, сети и услуги (MobiQuitous '09), Торонто, Канада, 13–16 июля 2009 г.
10. Дауд Гордон, Ян-Хендрик Ханне, Мартин Бертольд, Али Асгар Назари Ширеджини, Майкл Бейгл: На пути к распознаванию совместной групповой деятельности с использованием мобильных устройств, мобильных сетей и приложений 18 (3), 2013, стр. 326–340
11. Левин, К. Теория поля в социальных науках: избранные теоретические статьи. Социальные науки в мягкой обложке. Харпер, Нью-Йорк, 1951 год.
12. Хирано Т. и Маекава Т. Гибридная модель распознавания групповой активности без присмотра и надзора. В материалах Международного симпозиума по портативным компьютерам 2013 г., ISWC '13, ACM (Нью-Йорк, Нью-Йорк, США, 2013), 21–24.
13. Брдичка О., Мезоннасс Дж., Рейнье П. и Кроули Дж. Л. Обнаружение деятельности малых групп на основе мультимодальных наблюдений. Прикладной интеллект 30, 1 (июль 2007 г.), 47–57.
14. Дауд Гордон, Распознавание групповой активности с использованием носимых датчиков, Диссертация, Технологический институт Карлсруэ, 2014 г.
15. Х. Кауц. «Формальная теория распознавания плана». В докторской диссертации, Рочестерский университет, 1987 г.
16. Н. Леш и О. Эциони. «Звучное и быстрое распознавание целей». В материалах Международной совместной конференции по искусственному интеллекту , 1995 г.
17. До, Танг; Сенг В. Локе; Фэй Лю (2011). «Программирование набора ответов для потокового рассуждения». Достижения в области искусственного интеллекта . Конспекты лекций по информатике. Том. 6657. стр. 104–109. CiteSeerX 10.1.1.453.2348 . дои : 10.1007/978-3-642-21043-3_13. ISBN  978-3-642-21042-6.
18. До, Танг; Сенг В. Локе; Фэй Лю (2012). «HealthyLife: система распознавания активности на смартфоне с использованием логического потокового рассуждения» (PDF) . Материалы 9-й Международной конференции по мобильным и повсеместным системам: вычисления, сети и услуги (Mobiquitous 2012) .
19. Э. Чарняк и Р.П. Голдман. «Байесовская модель распознавания плана». Искусственный интеллект , 64:53–79, 1993.
20. Г-н Ходжес и М. Е. Поллак. «Отпечаток пальца при использовании объекта: использование электронных датчиков для идентификации человека». В материалах 9-й Международной конференции по повсеместным вычислениям , 2007 г.
21. Майк Перковиц, Маттай Филипос, Дональд Дж. Паттерсон и Кеннет П. Фишкин. «Извлечение моделей человеческой деятельности из Интернета». В материалах тринадцатой Международной конференции по всемирной паутине (WWW 2004), страницы 573–582, май 2004 г.
22. Маттай Филипос, Кеннет П. Фишкин, Майк Перковиц, Дональд Дж. Паттерсон, Дитер Фокс, Генри Каутц и Дирк Хэнель. «Выводы о деятельности из взаимодействия с объектами». В IEEE Pervasive Computing , страницы 50–57, октябрь 2004 г.
23. Дитер Фокс Лин Ляо, Дональд Дж. Паттерсон и Генри А. Каутц. «Изучение и определение правил транспортировки». Артиф. Интел. , 171(5–6):311–331, 2007.
24. TLM ван Кастерен, Гвенн Энглебьен, BJA Kröse. «Распознавание человеческой деятельности по данным беспроводной сенсорной сети: контрольный показатель и программное обеспечение». Распознавание активности в широко распространенной интеллектуальной среде, 165–186, Atlantis Press
25. Пиятилака, Л.; Кодагода, С., «HMM на основе гауссовой смеси для распознавания повседневной деятельности человека с использованием функций трехмерного скелета», Industrial Electronics and Applications (ICIEA), 2013 г., 8-я конференция IEEE, том, №, стр. 567,572, 19–21 июня 2013 г.
26. TLM ван Кастерен, Гвенн Энглебьен, Бен Крёзе «Иерархическое распознавание действий с использованием автоматически кластеризованных действий», 2011, Ambient Intelligence, 82–91, Springer Berlin / Heidelberg
27. Дэниел Уилсон и Крис Аткесон. Одновременное отслеживание и распознавание активности (звезда) с использованием множества анонимных бинарных датчиков. В материалах 3-й международной конференции по всеобъемлющим вычислениям, Pervasive, страницы 62–79, Мюнхен, Германия, 2005 г.
28. Нурия Оливер , Барбара Розарио и Алекс Пентланд «Байесовская система компьютерного зрения для моделирования человеческих взаимодействий» появляется в специальном выпуске PAMI, посвященном визуальному наблюдению и мониторингу, август 2000 г.
29. TLM Ван Кастерен, Атанасиос Ноулас, Гвенн Энглебьен, Бен Крёзе, «Точное распознавание активности в домашних условиях», 21 сентября 2008 г., Материалы 10-й международной конференции по повсеместным вычислениям, 1–9, ACM
30. Дерек Хао Ху, Синно Цзялинь Пан, Винсент Вэньчэнь Чжэн, Натан НаньЛю и Цян Ян. Признание деятельности в реальном мире с множеством целей. Архивировано 9 августа 2017 г. в Wayback Machine . В материалах 10-й международной конференции по повсеместным вычислениям, Ubicomp, страницы 30–39, Нью-Йорк, штат Нью-Йорк, США, 2008. ACM.
31. Нурия Оливер , Ашутош Гарг и Эрик Хорвиц. Многоуровневые представления для обучения и определения офисной активности по нескольким сенсорным каналам. Вычислить. Вис. Image Underst., 96(2):163–180, 2004.
32. Амарнаг Субраманья, Элвин Радж, Джефф Билмс и Дитер Фокс. Иерархические модели распознавания активности ^{[ постоянная мертвая ссылка ]} . В материалах международной конференции по обработке мультимедийных сигналов, MMSP, Виктория, Калифорния, октябрь 2006 г.
33. Тао Гу, Чжаньцин Ву, Сяньпин Тао, Хун Кенг Пунг и Цзянь Лу. epSICAR: новый подход, основанный на шаблонах, к последовательному, чередующемуся и параллельному распознаванию действий. В Proc. 7-й ежегодной Международной конференции IEEE по всеобъемлющим вычислениям и коммуникациям (Percom '09), Галвестон, Техас, 9–13 марта 2009 г.
34. Гилберт А., Иллингворт Дж., Боуден Р. Распознавание действий с использованием добытых иерархических составных функций. Анализ транс-паттернов IEEE и машинное обучение
35. Ляо, Лин, Дитер Фокс и Генри Каутц. «Иерархические условные случайные поля для распознавания активности на основе GPS ^{[ постоянная мертвая ссылка ]} ». Исследования робототехники. Springer, Берлин, Гейдельберг, 2007. 487–506.
36. Ляо, Лин, Дитер Фокс и Генри Каутц. «Распознавание активности на основе местоположения». Достижения в области нейронных систем обработки информации. 2006.
37. Хо, Эдмонд С.Л.; Чан, Джеки CP; Чан, Дональд С.К.; Шум, Хьюберт П.Х.; Чунг, Ю-мин; Юэнь, ПК (2016). «Повышение точности классификации поз для мониторинга человеческой активности на основе датчиков глубины в умных средах». Компьютерное зрение и понимание изображений . 148 . Эльзевир: 97–110. дои : 10.1016/j.cviu.2015.12.011 . ISSN  1077-3142.
38. Шум, Хьюберт PH; Хо, Эдмонд С.Л.; Цзян, Ян; Такаги, Шу (2013). «Реконструкция осанки в реальном времени для Microsoft Kinect». Транзакции IEEE по кибернетике . 43 (5). ИЭЭЭ: 1357–1369. дои : 10.1109/TCYB.2013.2275945. ISSN  2168-2267. PMID  23981562. S2CID  14124193.
39. Пиятилака, Л.; Кодагода, С., «HMM на основе гауссовой смеси для распознавания повседневной деятельности человека с использованием функций трехмерного скелета», Industrial Electronics and Applications (ICIEA), 8-я конференция IEEE, 2013 г., том, №, стр. 567, 572, 19–21. URL, июнь 2013 г.: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6566433&isnumber=6566328.
40. Пиятилака Л. и Кодагода С., 2015. Распознавание человеческой деятельности домашними роботами. В полевой и служебной робототехнике (стр. 395–408). Спрингер, Чам. «Распознавание человеческой деятельности для домашних роботов»
41. Цяо, Танцю; Мужчины, Цяньхуэй; Ли, Фредерик ВБ; Куботани, Йошики; Моришима, Сигео; Шум, Хьюберт П.Х. (2022). Геометрические особенности. Распознавание взаимодействия человека и объекта в видео с участием нескольких человек . Конспекты лекций по информатике. Том. 13664. Спрингер. стр. 474–491. arXiv : 2207.09425 . дои : 10.1007/978-3-031-19772-7_28. ISBN 978-3-031-19772-7.
42. Хуан, Ин; Шум, Хьюберт П.Х.; Хо, Эдмонд С.Л.; Аслам, Науман (2020). «Высокоскоростная оценка позы нескольких человек с глубокой передачей функций». Компьютерное зрение и понимание изображений . 197–198. Elsevier: 103010. doi : 10.1016/j.cviu.2020.103010. ISSN  1077-3142. S2CID  219905793.
43. Мужчины, Цяньхуэй; Хо, Эдмонд С.Л.; Шум, Хьюберт П.Х.; Люнг, Ховард (2023). «Фокусированное контрастное обучение, инвариантное к взгляду, для самоконтролируемого распознавания действий на основе скелета». Нейрокомпьютинг . 537 . Эльзевир: 198–209. arXiv : 2304.00858 . doi : 10.1016/j.neucom.2023.03.070. ISSN  0925-2312.
44. Лу, Чжэнчжи; Ван, Хэ; Чанг, Цзыи; Ян, Гоань; Шум, Хьюберт П.Х. (2023). Жесткая состязательная атака No-Box на распознавание действий человека на основе скелетов с градиентом, основанным на информации о движении скелета . IEEE/CVF. arXiv : 2308.05681 .
45. Букс, Аллах; Ангелов, Пламен; Хабиб, Зульфикар (2017). «Всесторонний обзор созданных вручную и основанных на обучении подходов к представлению действий для распознавания человеческой деятельности». Прикладные науки . 7 (1): 110. дои : 10.3390/app7010110 .
46. Аггарвал, Дж. К.; Рю, MS (29 апреля 2011 г.). «Анализ человеческой деятельности: обзор». Обзоры вычислительной техники ACM . 43 (3): 16:1–16:43. дои : 10.1145/1922649.1922653. ISSN  0360-0300. S2CID  5388357.
47. Алтын, Махсун; Гюрсой, Фуркан; Сюй, Лина (2021). «Машинно-генерируемая иерархическая структура человеческой деятельности, показывающая, как думают машины». Доступ IEEE . 9 : 18307–18317. arXiv : 2101.07855 . Бибкод : 2021IEEA...918307A. дои : 10.1109/ACCESS.2021.3053084 . ISSN  2169-3536.
48. Ван, Ле; Дуань, Сюйхуань; Чжан, Цилинь; Ню, Чжэньсин; Хуа, Банда; Чжэн, Наньнин (22 мая 2018 г.). «Segment-Tube: локализация пространственно-временных действий в необрезанных видео с покадровой сегментацией» (PDF) . Датчики . 18 (5): 1657. Бибкод : 2018Senso..18.1657W. дои : 10.3390/s18051657 . ISSN  1424-8220. ПМЦ 5982167 . ПМИД  29789447.  .
49. Чжан, Сятянь; Мубайед, Нура Аль; Шум, Хьюберт П.Х. (2022). «К прогнозированию хирургического рабочего процесса на основе обучения графическому представлению». Международная конференция IEEE-EMBS по биомедицинской и медицинской информатике (BHI) 2022 г. IEEE. стр. 01–04. arXiv : 2208.03824 . дои : 10.1109/BHI56158.2022.9926801. ISBN 978-1-6654-8791-7.
50. Цзе Инь, Сяоюн Чай и Цян Ян, «Распознавание целей высокого уровня в беспроводной локальной сети». В материалах девятнадцатой национальной конференции по искусственному интеллекту (AAAI-04), Сан-Хосе, Калифорния, США, июль 2004 г. Страницы 578–584.
51. Сяоюн Чай и Цян Ян, «Распознавание нескольких целей по сигналам низкого уровня». Материалы Двадцатой национальной конференции по искусственному интеллекту (AAAI 2005), Питтсбург, Пенсильвания, США, июль 2005 г. Страницы 3–8.
52. Дерек Хао Ху, Цян Ян. «CIGAR: одновременное и чередующееся распознавание целей и действий», появится в AAAI 2008 г.
53. Цзе Инь, Доу Шен, Цян Ян и Цзэнянь Ли «Распознавание активности посредством сегментации на основе целей». Материалы Двадцатой национальной конференции по искусственному интеллекту (AAAI 2005), Питтсбург, Пенсильвания, США, июль 2005 г. Страницы 28–33.
54. Д. Чжан, Дж. Ма, К. Чен и Л. М. Ни, ¡° Радиочастотная система для отслеживания объектов без трансиверов, ¡±. Труды по всепроникающим вычислениям и коммуникациям. Уайт-Плейнс, США, 2007 г.: 135¨C144.
55. К. Пу, С. Гупта, С. Голлакота и С. Патель, «Распознавание жестов во всем доме с использованием беспроводных сигналов». Материалы 19-й ежегодной международной конференции по мобильным вычислениям и сетям, Нью-Йорк, США, 2013: 27–38.
56. Д. Ву, Д. Чжан, К. Сюй, Ю. Ван и Х. Ван. «Широко: оценка направления ходьбы с использованием беспроводных сигналов», Материалы Международной совместной конференции ACM 2016 по всеобъемлющим и повсеместным вычислениям, Нью-Йорк, США, 2016: 351–362.
57. Х. Ван, Д. Чжан, Дж. Ма, Ю. Ван, Ю. Ван, Д. Ву, Т. Гу и Б. Се, «Обнаружение дыхания человека с помощью обычных устройств Wi-Fi: учитывайте местоположение пользователя и ориентацию тела». вопрос?», Труды Международной совместной конференции ACM по всеобъемлющим и повсеместным вычислениям 2016 г., Нью-Йорк, США, 2016: 25–36.
58. «UCF101 - Набор данных распознавания действий» . 2021. Архивировано из оригинала 23 января 2020 г.
59. «Документы с кодом - набор данных HMDB51» . paperswithcode.com . Проверено 23 августа 2021 г.
60. Кей, Уилл; Каррейра, Жоао; Симонян, Карен; Чжан, Брайан; Хиллер, Хлоя; Виджаянарасимхан, Судхендра; Виола, Фабио; Грин, Тим; Назад, Тревор; Нацев, Павел; Сулейман, Мустафа (19 мая 2017 г.). «Набор видеоданных о действиях человека Kinetics». arXiv : 1705.06950 [cs.CV].
61. Поллак, М.Э. и др., LEB 2003. «Autominder: интеллектуальная когнитивная ортопедическая система для людей с нарушениями памяти. Архивировано 10 августа 2017 г. в Wayback Machine ». Робототехника и автономные системы 44 (3–4): 273–282.
62. Гао, Лианли и др. «Сетевая система семантической маркировки и распознавания активности для данных акселерометрии видов ^{[ мертвая ссылка ]} ». Экологическая информатика 13 (2013): 47–56.
63. Нгуен, Туан Ань и Марко Айелло. «Энергетические интеллектуальные здания на основе активности пользователей: опрос». Энергия и здания 56 (2013): 244–257.