Ученые разработали гибридный нейроморфный процессор
Ученые из Китая вместе с коллегами из Сингапура и США представили гибридный нейроморфный процессор и вычислительный модуль на его основе, архитектура которого адаптирована к работе как классических искусственных нейросетей, так и импульсных, которые по своему принципу работы более близки к биологическим нейронным сетям. Чип содержит более 150 ядер, каждое из которых состоит из искусственных аналогов аксона, синапса, дендрита и перикариона, что позволяет имитировать работу настоящих нейронов. При этом ядра могут переключаться между двумя режимами работы, а также конвертировать сигналы классической нейросети с определенным значением в бинарные нервные импульсы для импульсной нейросети и наоборот, рассказывают авторы статьи в журнале Nature.
Обычно под чипом для аппаратного ускорения нейросетевых вычислений подразумеваются чипы с более оптимальной архитектурой для множества параллельных вычислений или другими особенностями, ускоряющим вычисления. Однако существуют также и нейроморфные чипы, архитектура которых отличается от классической фон-неймановской и похожа на строение настоящих нейронов. Пока такие чипы находятся в экспериментальной фазе и практически не применяются на практике за пределами лабораторий. Во многом это связано с тем, что большое отличие в архитектуре требует адаптировать алгоритмы под нейроморфные чипы.
Классические искусственные нейросети состоят из слоев, содержащих нейроны. Во время работы нейрон текущего слоя получает сигналы со значениями от всех нейронов предыдущего. Особенность нейросетей, позволяющая им обучаться выполняемой задаче, заключается в том, что каждая связь между нейронами в сети имеет вес, по сути определяющий силу сигнала для принимающего нейрона. Вес каждой связи может меняться во время работы, что и позволяет корректировать работу алгоритма во время обучения.
В противовес таким нейросетям существуют также импульсные нейросети, работающие подобно настоящим нейронам. Получая сигнал от предыдущего нейрона они тоже сопоставляют ему определенный вес. Однако главное отличие заключается в том, что они передают сигнал следующему нейрону не всегда, а только если входящий сигнал превысил пороговое значение, определяемое потенциалом действия. Если сигнал был ниже, нейрон не «срабатывает», если же он превысил порог, нейрон передает дальше сигнал максимально возможной амплитуды.
Режимы работы ядер Tianjic
В новом чипе Tianjic, созданным учеными под руководством Лупин Ши (Luping Shi) из Университета Синьхуа используется нейроморфная схема с имитацией составных частей нейрона. Чип состоит из 156 ядер, каждое из которых содержит блоки, выполняющие роль аксона, синапса, дендрита и перикариона, а также блок управления, отвечающий в основном за маршрутизацию сигналов между ядрами. Эти компоненты позволяют каждому ядру имитировать работу 256 нейронов.
Главная особенность чипа заключается в том, что сигналы между нейронами могут распространяться как в бинарном виде для работы с импульсной нейросетью, так и в многоразрядном виде для работы классической искусственной нейросети. Для этого блоки имеют разные режимы работы, которые используют компоненты ядра разным образом. При этом ядра работают независимо и на одном чипе можно реализовать гибридную схему работы, при которой часть ядер работают в одном режиме, часть в другом, а еще часть выступают в роли конвертеров, преобразуя бинарные импульсы в числовые значения и наоборот.
Вычислительный модуль с 25 процессорами Tianjic
Чип поддерживает работу в многопроцессорном режиме, при котором сигналы распространяются не только в рамках одного процессора. В качестве примера ученые собрали плату с 25 процессорами Tianjic. Ученые сравнили параметры работы процессора с другими нейроморфными чипами, в том числе IBM TrueNorth и Intel Loihi, которые также имеют архитектуру импульсной нейросети. Полные данных об этих устройствах непубличны, однако авторы отмечают, что Tianjic выполняет в полтора раза больше миллиардов синаптических операций в секунду (GSOPS) на ватт потребляемой мощности, чем TrueNorth: 649 против 400.
Сравнение процессора с аналогами
В качестве примера применения авторы оборудовали беспилотный радиоуправляемый велосипед, разработанный несколько лет назад, компьютером с новыми процессорами. На нем они запустили несколько нейросетей для самоуправления, распознавания голосовых команд, отслеживания человека и избегания препятствий. Часть из них была реализована в виде классических сверточных нейросетей, а часть в виде импульсных. На демонстрационном ролике можно видеть, как велосипед самостоятельно едет, следуя за человеком и выполняя его команды.
Помимо нейроморфных компьютеров ученые воссоздают схему работы нейронов с других устройствах. Например, в прошлом году корейские исследователи создали искусственный аналог афферентного нерва и подсоединили его к ноге таракана. Благодаря имитации работы механорецепторов, синапса и других органов, ученые смогли имитировать передачу сигналов от настоящих нервов и смогли привести ногу таракана в движение.