Когнитивный компьютер — это компьютер, который жестко связывает искусственный интеллект и алгоритмы машинного обучения в интегральную схему , которая точно воспроизводит поведение человеческого мозга. [1] Обычно он использует нейроморфный инженерный подход. Синонимы включают нейроморфный чип и когнитивный чип . [2] [3]
В 2023 году экспериментальный чип NorthPole от IBM (оптимизированный для 2-, 4- и 8-битной точности) достиг выдающихся результатов в распознавании изображений . [4]
В 2013 году IBM разработала Watson , когнитивный компьютер, который использует нейронные сети и методы глубокого обучения . [5] В следующем году она разработала архитектуру микрочипа TrueNorth 2014 года [6] , которая по своей структуре ближе к человеческому мозгу, чем архитектура фон Неймана, используемая в обычных компьютерах. [1] В 2017 году Intel также анонсировала свою версию когнитивного чипа в «Loihi», который, как она намеревалась, будет доступен университетам и исследовательским лабораториям в 2018 году. Intel (в частности, с ее системами Pohoiki Beach и Springs [7] [8] ), Qualcomm и другие постоянно совершенствуют нейроморфные процессоры.
TrueNorth — нейроморфная интегральная схема CMOS , выпущенная IBM в 2014 году. [9] Это многоядерная процессорная сеть на чипе с 4096 ядрами , каждое из которых имеет 256 программируемых моделируемых нейронов , что в общей сложности составляет чуть более миллиона нейронов. В свою очередь, каждый нейрон имеет 256 программируемых « синапсов », которые передают сигналы между ними. Таким образом, общее количество программируемых синапсов составляет чуть более 268 миллионов (2 28 ). Его базовое количество транзисторов составляет 5,4 миллиарда.
Память, вычисления и связь обрабатываются в каждом из 4096 нейросинаптических ядер, TrueNorth обходит узкое место архитектуры фон Неймана и является очень энергоэффективным, IBM заявляет о потреблении энергии в 70 милливатт и плотности мощности, которая составляет 1/10 000 от обычных микропроцессоров. [10] Чип SyNAPSE работает при более низких температурах и мощности, поскольку он потребляет только необходимую мощность для вычислений. [11] Скирмионы были предложены в качестве моделей синапса на чипе. [12] [13]
Нейроны эмулируются с помощью модели линейной утечки, интеграции и срабатывания (LLIF), упрощения модели утечки, интеграции и срабатывания . [14]
По данным IBM, он не имеет часов , [15] работает с унарными числами и производит вычисления, подсчитывая максимум до 19 бит. [6] [16] Ядра управляются событиями с использованием как синхронной, так и асинхронной логики и соединены между собой через асинхронную ячеистую сеть с коммутацией пакетов на кристалле (NOC). [16]
IBM разработала новую сеть для программирования и использования TrueNorth. Она включала симулятор, новый язык программирования, интегрированную среду программирования и библиотеки. [15] Это отсутствие обратной совместимости с любой предыдущей технологией (например, компиляторами C++) создает серьезные риски привязки к поставщику и другие неблагоприятные последствия, которые могут помешать коммерциализации в будущем. [15] [ неудавшаяся проверка ]
В 2018 году кластер TrueNorth, подключенный к главному компьютеру, использовался в исследовании стереозрения, в ходе которого была предпринята попытка извлечь глубину быстро движущихся объектов в сцене. [17]
В 2023 году IBM выпустила свой чип NorthPole, который является доказательством концепции для радикального повышения производительности путем переплетения вычислений с памятью на кристалле, тем самым устраняя узкое место фон Неймана . Он сочетает подходы из системы TrueNorth IBM 2014 года с современными аппаратными решениями для достижения скорости примерно в 4000 раз выше, чем TrueNorth. Он может выполнять задачи распознавания изображений ResNet-50 или Yolo-v4 примерно в 22 раза быстрее, потребляя в 25 раз меньше энергии и занимая в 5 раз меньше места по сравнению с графическими процессорами , которые используют тот же 12-нм процесс узлов , с которым он был изготовлен. Он включает в себя 224 МБ ОЗУ и 256 процессорных ядер и может выполнять 2048 операций на ядро за цикл с 8-битной точностью и 8192 операции с 2-битной точностью. Он работает на частоте от 25 до 425 МГц . [4] [18] [19] [20] Это чип вывода, но он пока не может работать с GPT-4 из-за ограничений памяти и точности [21]
Pohoiki Springs — это система, которая включает в себя самообучающийся нейроморфный чип Intel под названием Loihi, представленный в 2017 году, возможно, названный в честь гавайской подводной горы Lōʻihi . Intel утверждает, что Loihi примерно в 1000 раз более энергоэффективен, чем вычислительные системы общего назначения, используемые для обучения нейронных сетей. Теоретически Loihi поддерживает как обучение машинному обучению, так и вывод на одном и том же кремнии независимо от облачного соединения и более эффективно, чем сверточные нейронные сети или нейронные сети глубокого обучения . Intel указывает на систему для мониторинга сердцебиения человека, снятия показаний после таких событий, как физические упражнения или прием пищи, и использования чипа для нормализации данных и вычисления «нормального» сердцебиения. Затем он может обнаруживать отклонения и справляться с новыми событиями или состояниями.
Первая итерация чипа была сделана с использованием 14 нм процесса производства Intel и содержит 128 кластеров по 1024 искусственных нейрона в каждом, что в общей сложности составляет 131 072 моделируемых нейрона. [22] Это обеспечивает около 130 миллионов синапсов , что намного меньше, чем 800 триллионов синапсов человеческого мозга , и отстает от TrueNorth от IBM . [23] Loihi доступен для исследовательских целей среди более чем 40 академических исследовательских групп в качестве форм-фактора USB . [24] [25]
В октябре 2019 года исследователи из Ратгерского университета опубликовали исследовательскую работу, демонстрирующую энергоэффективность Loihi от Intel при решении задач одновременной локализации и картирования . [26]
В марте 2020 года Intel и Корнелльский университет опубликовали исследовательскую работу, демонстрирующую способность Loihi от Intel распознавать различные опасные материалы , что в конечном итоге может помочь «диагностировать заболевания, обнаруживать оружие и взрывчатые вещества , находить наркотики , а также определять признаки дыма и угарного газа ». [27]
Intel Loihi 2, названный Pohoiki Beach, был выпущен в сентябре 2021 года с 64 ядрами. [28] Он может похвастаться более высокой скоростью, более высокой пропускной способностью межчиповых коммуникаций для улучшенной масштабируемости, увеличенной емкостью на чип, более компактным размером за счет масштабирования процесса и улучшенной программируемостью. [29]
Hala Point упаковывает 1152 процессора Loihi 2, произведенных на технологическом узле Intel 3, в шасси на шесть стоечных единиц. Система поддерживает до 1,15 млрд нейронов и 128 млрд синапсов, распределенных по 140 544 нейроморфным процессорным ядрам, потребляя 2600 Вт мощности. Она включает в себя более 2300 встроенных процессоров x86 для вспомогательных вычислений.
В 2024 году Intel заявила, что Hala Point — крупнейшая в мире нейроморфная система. Она использует чипы Loihi 2. Она, как утверждается, обеспечивает в 10 раз большую емкость нейронов и до 12 раз более высокую производительность.
Hala Point обеспечивает до 20 квадриллионов операций в секунду (20 петахопсов) с эффективностью, превышающей 15 триллионов (8-битных) операций S -1 W -1 на обычных глубоких нейронных сетях.
Hala Point объединяет каналы обработки, памяти и связи в массивно распараллеленную структуру, обеспечивая 16 ПБ/ с пропускной способности памяти, 3,5 ПБ/ с пропускной способности межъядерной связи и 5 ТБ/ с пропускной способности между чипами.
Система может обрабатывать 1,15 миллиарда нейронов в 20 раз быстрее, чем человеческий мозг. Ее нейронная емкость примерно эквивалентна емкости мозга совы или коры головного мозга обезьяны -капуцина .
Системы на базе Loihi могут выполнять логический вывод и оптимизацию, потребляя в 100 раз меньше энергии и со скоростью, в 50 раз превышающей скорость архитектур CPU/GPU.
Intel утверждает, что Hala Point может создавать LLM, но этого не было сделано. [30] Необходимо провести еще много исследований [31]
SpiNNaker (Spiking Neural Network Architecture) — это массивно - параллельная многоядерная суперкомпьютерная архитектура , разработанная исследовательской группой Advanced Processor Technologies на факультете компьютерных наук Манчестерского университета . [32]
Критики утверждают, что компьютер размером с комнату — как в случае с Watson от IBM — не является жизнеспособной альтернативой трехфунтовому человеческому мозгу. [33] Некоторые также ссылаются на сложность для единой системы объединить так много элементов, таких как разрозненные источники информации, а также вычислительные ресурсы. [34]
В 2021 году The New York Times опубликовала статью Стива Лора «Что случилось с IBM Watson?». [35] Он написал о некоторых дорогостоящих неудачах IBM Watson. Одна из них, проект, связанный с раком, под названием Oncology Expert Advisor, [36] была заброшена в 2016 году как дорогостоящая неудача. Во время сотрудничества Watson не мог использовать данные пациентов. Watson с трудом расшифровывал записи врачей и истории болезни пациентов.