Гиперпространственные вычисления ( HDC ) — это подход к вычислениям, в частности, к искусственному интеллекту . HDC мотивирован наблюдением, что кора мозжечка работает с многомерными представлениями данных. [1] В HDC информация, таким образом, представлена как гиперпространственный (длинный) вектор, называемый гипервектором. Гиперпространственный вектор (гипервектор) может включать тысячи чисел, которые представляют точку в пространстве тысяч измерений. [2] Векторные символические архитектуры — это старое название для того же широкого подхода. [2] [ не пройдена проверка ]
Данные отображаются из входного пространства в разреженное HD-пространство с помощью функции кодирования φ : X → H. HD-представления хранятся в структурах данных, которые подвержены искажению шумом/сбоями оборудования. Зашумленные/поврежденные HD-представления все еще могут служить входными данными для обучения, классификации и т. д. Их также можно декодировать для восстановления входных данных. H обычно ограничивается целыми числами с ограниченным диапазоном (-vv) [3]
Это аналогично процессу обучения, проводимому обонятельной системой плодовых мушек . Входные данные представляют собой примерно 50-мерный вектор, соответствующий типам нейронов обонятельных рецепторов. HD-представление использует ~2000 измерений. [3]
Алгебра HDC раскрывает логику того, как и почему системы принимают решения, в отличие от искусственных нейронных сетей . Объекты физического мира могут быть отображены в гипервекторы для обработки алгеброй. [2]
HDC подходит для «систем вычислений в памяти», которые вычисляют и хранят данные на одном чипе, избегая задержек передачи данных. Аналоговые устройства работают при низком напряжении. Они энергоэффективны, но подвержены шуму, вызывающему ошибки. HDC могут допускать такие ошибки. [2]
Различные команды разработали маломощные аппаратные ускорители HDC. [3]
Наномасштабные мемристивные устройства могут быть использованы для выполнения вычислений. Гипермерная вычислительная система в памяти может реализовывать операции на двух мемристивных кросс-барных двигателях вместе с периферийными цифровыми КМОП- схемами. Эксперименты с использованием 760 000 устройств памяти с фазовым переходом, выполняющих аналоговые вычисления в памяти, достигли точности, сравнимой с программными реализациями. [4]
HDC устойчив к ошибкам, таким как ошибка отдельного бита (0 превращается в 1 или наоборот), пропущенным механизмами исправления ошибок. Устранение таких механизмов исправления ошибок может сэкономить до 25% стоимости вычислений. Это возможно, потому что такие ошибки оставляют результат «близким» к правильному вектору. Рассуждения с использованием векторов не скомпрометированы. HDC по крайней мере в 10 раз более устойчив к ошибкам, чем традиционные искусственные нейронные сети , которые уже на порядки более устойчивы, чем традиционные вычисления. [2]
Простой пример рассматривает изображения, содержащие черные круги и белые квадраты. Гипервекторы могут представлять переменные SHAPE и COLOR и содержать соответствующие значения: CIRCLE, SQUARE, BLACK и WHITE. Связанные гипервекторы могут содержать пары BLACK и CIRCLE и т. д. [2]
Высокоразмерное пространство допускает множество взаимно ортогональных векторов. Однако, если вместо этого векторам разрешено быть почти ортогональными , число различных векторов в высокоразмерном пространстве значительно больше. [2]
HDC использует концепцию распределенных представлений, в которой объект/наблюдение представлен шаблоном значений во многих измерениях, а не одной константой. [3]
HDC может объединять гипервекторы в новые гипервекторы, используя четко определенные операции векторного пространства .
Группы , кольца и поля над гипервекторами становятся базовыми вычислительными структурами со сложением, умножением, перестановкой, отображением и обратным как примитивными вычислительными операциями. [4] Все вычислительные задачи выполняются в многомерном пространстве с использованием простых операций, таких как поэлементные сложения и скалярные произведения . [3]
Связывание создает упорядоченные кортежи точек и также является функцией ⊗ : H × H → H. Входные данные — две точки в H , а выходные данные — разнородная точка. Умножение вектора SHAPE на CIRCLE связывает их, представляя идею «SHAPE — это CIRCLE». Этот вектор «почти ортогонален» SHAPE и CIRCLE. Компоненты можно восстановить из вектора (например, ответить на вопрос «является ли форма кругом?»). [3]
Сложение создает вектор, который объединяет концепции. Например, добавление «ФОРМА — это КРУГ» к «ЦВЕТ — это КРАСНЫЙ» создает вектор, который представляет красный круг.
Перестановка переставляет элементы вектора. Например, перестановка трехмерного вектора со значениями, обозначенными как x , y и z , может поменять местами x на y , y на z и z на x . События, представленные гипервекторами A и B, можно сложить, образовав один вектор, но это пожертвует последовательностью событий. Объединение сложения с перестановкой сохраняет порядок; последовательность событий можно получить, обратив операции.
Объединение объединяет набор элементов в H как функцию ⊕ : H ×H → H. Входными данными являются две точки в H, а выходными данными является третья точка, которая подобна обеим. [3]
Векторные символические архитектуры (VSA) обеспечили систематический подход к представлениям символов высокой размерности для поддержки таких операций, как установление отношений. Ранние примеры включают голографические сокращенные представления, двоичные коды разбрызгивания и матричное связывание аддитивных терминов. HD-вычисления продвинули эти модели, особенно подчеркивая эффективность оборудования. [3]
В 2018 году Эрик Вайс показал, как полностью представить изображение в виде гипервектора. Вектор может содержать информацию обо всех объектах изображения, включая такие свойства, как цвет, положение и размер. [2]
В 2023 году Аббас Рахими и др. использовали HDC с нейронными сетями для решения прогрессивных матриц Равена . [2]
В 2023 году Майк Хеддес и др. под руководством профессоров Гиваргиса, Николау и Вейденбаума создали гиперпространственную вычислительную библиотеку [5] , построенную на основе PyTorch .
Алгоритмы HDC могут воспроизводить задачи, давно выполняемые глубокими нейронными сетями , такие как классификация изображений. [2]
Классификация аннотированного набора рукописных цифр использует алгоритм для анализа особенностей каждого изображения, что дает гипервектор для каждого изображения. Затем алгоритм добавляет гипервекторы для всех помеченных изображений, например, нуля, чтобы создать прототипический гипервектор для концепции нуля и повторяет это для других цифр. [2]
Классификация немаркированного изображения включает создание гипервектора для него и сравнение его с опорными гипервекторами. Это сравнение определяет цифру, на которую больше всего похоже новое изображение. [2]
Данный помеченный пример набора является классом конкретного x i . [3]
По заданному запросу x q ∈ X наиболее похожий прототип может быть найден с помощью . Метрика сходства ρ обычно является скалярным произведением. [3]
Гипервекторы также могут использоваться для рассуждений. Прогрессивные матрицы Равена представляют изображения объектов в сетке. Одна позиция в сетке пустая. Тест заключается в выборе из кандидатов изображений того, которое лучше всего подходит. [2]
Словарь гипервекторов представляет отдельные объекты. Каждый гипервектор представляет концепцию объекта с его атрибутами. Для каждого тестового изображения нейронная сеть генерирует бинарный гипервектор (значения +1 или −1), который максимально близок к некоторому набору гипервекторов словаря. Таким образом, сгенерированный гипервектор описывает все объекты и их атрибуты на изображении. [2]
Другой алгоритм создает распределения вероятностей для количества объектов в каждом изображении и их характеристик. Эти распределения вероятностей описывают вероятные характеристики как контекста, так и изображений-кандидатов. Они также преобразуются в гипервекторы, затем алгебра предсказывает наиболее вероятное изображение-кандидат для заполнения слота. [2]
Этот подход достиг точности 88% на одном наборе задач, превзойдя решения, основанные только на нейронной сети, которые были точны на 61%. Для сеток 3 на 3 система была в 250 раз быстрее, чем метод, который использовал символическую логику для рассуждений, из-за размера связанной книги правил. [2]
Другие приложения включают обработку биосигналов, обработку естественного языка и робототехнику. [3]
