Language Modeling on a SpiNNaker 2 Neuromorphic Chip

要約

大規模な言語モデルのサイズが急速に拡大し続けるにつれて、それらを実行するために必要な計算能力も増加します。
ニューロモーフィックデバイス上のイベントベースのネットワークは、推論のためのエネルギー消費を大幅に削減する可能性のある方法を提供します。
しかし、これまでのところ、スパイキング ニューラル ネットワーク (SNN) を含む、ニューロモーフィック ハードウェア上で実行できるほとんどのイベントベース ネットワークは、言語モデリングの LSTM モデルと同等のタスク パフォーマンスを達成できていません。
その結果、ニューロモーフィックデバイス上での言語モデリングは遠い将来のように見えました。
この研究では、最近公開された EGRU と呼ばれるイベントベースのアーキテクチャに基づいた、ニューロモーフィック デバイス (具体的には SpiNNaker 2 チップ) 上での言語モデルの初めての実装を実証します。
SpinNNaker 2 は大規模な非同期処理用に設計されたメニーコア ニューロモーフィック チップですが、EGRU は競争力のあるタスク パフォーマンスを維持しながら、そのようなハードウェアを効率的に活用するように設計されています。
この実装は、ニューロモーフィック言語モデルが LSTM に初めて一致することを示し、タスクのパフォーマンスを大規模な言語モデルのレベルに引き上げる準備を整えます。
また、DVS カメラからの入力に基づいたジェスチャ認識タスクの結果も示します。
全体として、私たちの結果は、この神経にインスピレーションを得たニューラル ネットワークのハードウェアでの実現可能性を示しており、単一バッチ推論の一般的な使用例におけるエネルギー効率において、従来のハードウェアと比較して大幅な向上が強調されています。

要約(オリジナル)

As large language models continue to scale in size rapidly, so too does the computational power required to run them. Event-based networks on neuromorphic devices offer a potential way to reduce energy consumption for inference significantly. However, to date, most event-based networks that can run on neuromorphic hardware, including spiking neural networks (SNNs), have not achieved task performance even on par with LSTM models for language modeling. As a result, language modeling on neuromorphic devices has seemed a distant prospect. In this work, we demonstrate the first-ever implementation of a language model on a neuromorphic device – specifically the SpiNNaker 2 chip – based on a recently published event-based architecture called the EGRU. SpiNNaker 2 is a many-core neuromorphic chip designed for large-scale asynchronous processing, while the EGRU is architected to leverage such hardware efficiently while maintaining competitive task performance. This implementation marks the first time a neuromorphic language model matches LSTMs, setting the stage for taking task performance to the level of large language models. We also demonstrate results on a gesture recognition task based on inputs from a DVS camera. Overall, our results showcase the feasibility of this neuro-inspired neural network in hardware, highlighting significant gains versus conventional hardware in energy efficiency for the common use case of single batch inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google