Machine Learning Without a Processor: Emergent Learning in a Nonlinear Electronic Metamaterial

要約

標準的な深層学習アルゴリズムでは、大規模な非線形ネットワークを区別する必要があり、このプロセスは時間がかかり、電力を大量に消費します。
電子学習メタマテリアルは、アナログ機械学習用に高速かつ効率的でフォールトトレラントなハードウェアを提供する可能性がありますが、既存の実装は線形であり、その機能が大幅に制限されています。
これらのシステムは人工ニューラル ネットワークや脳とは大きく異なるため、非線形要素を組み込む実現可能性や有用性は検討されていません。
ここでは、非線形学習メタマテリアル、つまりトランジスタをベースとした自己調整非線形抵抗素子で構成されるアナログ電子ネットワークを紹介します。
XOR や非線形回帰など、線形システムでは達成できないタスクをシステムがコンピューターなしで学習することを実証します。
私たちの非線形学習メタマテリアルは、人工ニューラル ネットワークのスペクトル バイアスと同様に、トレーニング エラーのモードを順番に (平均、傾き、曲率) 減少させることがわかりました。
この回路は損傷に強く、数秒で再トレーニング可能で、学習したタスクをマイクロ秒で実行しながら、各トランジスタで消費するエネルギーはピコジュールのみです。
これは、センサー、ロボット コントローラー、医療機器などのエッジ システムにおける高速かつ低消費電力のコンピューティングの大きな可能性と、創発学習の実行および研究のための大規模な製造可能性を示唆しています。

要約(オリジナル)

Standard deep learning algorithms require differentiating large nonlinear networks, a process that is slow and power-hungry. Electronic learning metamaterials offer potentially fast, efficient, and fault-tolerant hardware for analog machine learning, but existing implementations are linear, severely limiting their capabilities. These systems differ significantly from artificial neural networks as well as the brain, so the feasibility and utility of incorporating nonlinear elements have not been explored. Here we introduce a nonlinear learning metamaterial — an analog electronic network made of self-adjusting nonlinear resistive elements based on transistors. We demonstrate that the system learns tasks unachievable in linear systems, including XOR and nonlinear regression, without a computer. We find our nonlinear learning metamaterial reduces modes of training error in order (mean, slope, curvature), similar to spectral bias in artificial neural networks. The circuitry is robust to damage, retrainable in seconds, and performs learned tasks in microseconds while dissipating only picojoules of energy across each transistor. This suggests enormous potential for fast, low-power computing in edge systems like sensors, robotic controllers, and medical devices, as well as manufacturability at scale for performing and studying emergent learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google