SpiNNaker2: A Large-Scale Neuromorphic System for Event-Based and Asynchronous Machine Learning

要約

人工ニューラル ネットワーク (ANN) と、GPU や TPU などのドメイン固有のハードウェア アクセラレータの共同進歩により、機械学習研究の多くのドメインが引き継がれました。
この発展は、より大きなモデルとより多くのデータに必要な計算需要の急速な増加を伴います。
同時に、コンテキスト内学習などの基盤モデルの新たな特性が、機械学習アプリケーションの新たな機会を推進します。
ただし、このようなアプリケーションの計算コストは​​、データセンター、さらにはモバイル デバイスやエッジ システムにおけるテクノロジの制限要因となります。
現代システムのエネルギーフットプリントと自明ではない待ち時間を仲介するために、ニューロモーフィックコンピューティングシステムは、低電力アナログおよびデジタルテクノロジーを活用することにより、神経生物学的システムの計算原理を深く統合します。
SpinNNaker2 は、スケーラブルな機械学習のために開発されたデジタル ニューロモーフィック チップです。
SpinNNaker2 のイベントベースの非同期設計により、数千のチップを含む大規模システムの構築が可能になります。
この研究では、SpiNNaker2 システムの動作原理を取り上げ、新しい機械学習アプリケーションのプロトタイプの概要を説明します。
これらのアプリケーションは、生物にインスピレーションを得たスパイキング ニューラル ネットワーク上の ANN から一般化されたイベントベースのニューラル ネットワークまで多岐にわたります。
SpinNNaker2 の開発と展開の成功により、私たちは将来の世代の機械学習システムに向けたイベントベースの非同期アルゴリズムの進歩を促進することを目指しています。

要約(オリジナル)

The joint progress of artificial neural networks (ANNs) and domain specific hardware accelerators such as GPUs and TPUs took over many domains of machine learning research. This development is accompanied by a rapid growth of the required computational demands for larger models and more data. Concurrently, emerging properties of foundation models such as in-context learning drive new opportunities for machine learning applications. However, the computational cost of such applications is a limiting factor of the technology in data centers, and more importantly in mobile devices and edge systems. To mediate the energy footprint and non-trivial latency of contemporary systems, neuromorphic computing systems deeply integrate computational principles of neurobiological systems by leveraging low-power analog and digital technologies. SpiNNaker2 is a digital neuromorphic chip developed for scalable machine learning. The event-based and asynchronous design of SpiNNaker2 allows the composition of large-scale systems involving thousands of chips. This work features the operating principles of SpiNNaker2 systems, outlining the prototype of novel machine learning applications. These applications range from ANNs over bio-inspired spiking neural networks to generalized event-based neural networks. With the successful development and deployment of SpiNNaker2, we aim to facilitate the advancement of event-based and asynchronous algorithms for future generations of machine learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google