Analog Alchemy: Neural Computation with In-Memory Inference, Learning and Routing

要約

ニューラル コンピューティングが人工知能 (AI) の分野に革命をもたらしているため、理想的なニューラル ハードウェアを再考することが次のフロンティアになりつつあります。
高速で信頼性の高いフォン ノイマン アーキテクチャは、ニューラル コンピューティングのホスティング プラットフォームとして使用されてきました。
能力はありますが、メモリと計算が分離されているため、神経計算のエネルギー効率のボトルネックが生じ、生物学的な脳とは対照的です。
疑問は残ります。基板の物理学を利用しながら、メモリと計算を効率的に組み合わせてインテリジェント システムを構築するにはどうすればよいでしょうか?
この論文では、デバイスの固有の物理ダイナミクスを推論、学習、ルーティングに使用する、ニューラル計算のためのメモリスティブ デバイスを使用した代替方法を探ります。
勾配ベースの学習の原理に基づいて、実現する必要がある機能を選択し、効率的な配線のためのコネクトミクス原理を分析しました。
アナログ物理学に固有の非理想性やノイズにもかかわらず、メモリスティブ基板、新しい材料スタック、およびスケーラブルなアーキテクチャのアナログ クロスバー間の効率的な配線のクレジット割り当て問題の解決に役立つ回路ブロックに対するローカル学習の適応性のハードウェア証拠を提供します。

要約(オリジナル)

As neural computation is revolutionizing the field of Artificial Intelligence (AI), rethinking the ideal neural hardware is becoming the next frontier. Fast and reliable von Neumann architecture has been the hosting platform for neural computation. Although capable, its separation of memory and computation creates the bottleneck for the energy efficiency of neural computation, contrasting the biological brain. The question remains: how can we efficiently combine memory and computation, while exploiting the physics of the substrate, to build intelligent systems? In this thesis, I explore an alternative way with memristive devices for neural computation, where the unique physical dynamics of the devices are used for inference, learning and routing. Guided by the principles of gradient-based learning, we selected functions that need to be materialized, and analyzed connectomics principles for efficient wiring. Despite non-idealities and noise inherent in analog physics, I will provide hardware evidence of adaptability of local learning to memristive substrates, new material stacks and circuit blocks that aid in solving the credit assignment problem and efficient routing between analog crossbars for scalable architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google