Training all-mechanical neural networks for task learning through in situ backpropagation

要約

最近の進歩により、物理ニューラル ネットワークが、より高速でエネルギー効率の高い情報処理を提供する有望な機械学習プラットフォームとして明らかになりました。
広く研究されている光ニューラル ネットワークと比較すると、メカニカル ニューラル ネットワーク (MNN) の開発はまだ初期段階にあり、大量の計算要求や近似勾配での学習などの大きな課題に直面しています。
ここでは、MNN の高効率トレーニングを可能にする in situ バックプロパゲーションの機械的類似物を紹介します。
我々は、正確な勾配が MNN 内でローカルに取得され、そのすぐ近くでの学習が可能になることを実証します。
勾配情報を使用して、行動学習および機械学習タスク用の MNN のトレーニングが成功し、回帰と分類で高い精度が達成されたことを示します。
さらに、タスク切り替えと損傷を伴う MNN の再訓練可能性を示し、回復力を示します。
MNN をトレーニングするための理論と実験的および数値的検証を統合した私たちの発見は、機械的機械学習ハードウェアと自律的な自己学習マテリアル システムへの道を切り開きます。

要約(オリジナル)

Recent advances unveiled physical neural networks as promising machine learning platforms, offering faster and more energy-efficient information processing. Compared with extensively-studied optical neural networks, the development of mechanical neural networks (MNNs) remains nascent and faces significant challenges, including heavy computational demands and learning with approximate gradients. Here, we introduce the mechanical analogue of in situ backpropagation to enable highly efficient training of MNNs. We demonstrate that the exact gradient can be obtained locally in MNNs, enabling learning through their immediate vicinity. With the gradient information, we showcase the successful training of MNNs for behavior learning and machine learning tasks, achieving high accuracy in regression and classification. Furthermore, we present the retrainability of MNNs involving task-switching and damage, demonstrating the resilience. Our findings, which integrate the theory for training MNNs and experimental and numerical validations, pave the way for mechanical machine learning hardware and autonomous self-learning material systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google