Synaptic metaplasticity with multi-level memristive devices

要約

ディープラーニングはさまざまなタスクにおいて目覚ましい進歩を遂げ、場合によっては人間のパフォーマンスを超えています。
ただし、ニューラル ネットワークの欠点の 1 つは致命的な忘却です。つまり、1 つのタスクで訓練されたネットワークが新しいタスクを学習するときに解決策を忘れてしまいます。
この問題に対処するために、最近の研究では、メタ可塑性を組み込んだバイナリ化ニューラル ネットワーク (BNN) に基づくソリューションが提案されています。
この研究では、このソリューションを量子化ニューラル ネットワーク (QNN) に拡張し、推論とトレーニングの両方でメタ可塑性を実装するためのメモリスタ ベースのハードウェア ソリューションを紹介します。
我々は、アナログマルチレベル方式でプログラムされたメモリスタデバイスの量子化重みを、高精度メタプラスチックストレージ用のデジタル処理ユニットと統合するハードウェアアーキテクチャを提案します。
私たちは、130 nm CMOS テクノロジーで製造されたインメモリ コンピューティング用のソフトウェア フレームワークとメモリスタ ベースのクロスバー アレイを組み合わせて、アプローチを検証しました。
私たちの実験結果は、2 層パーセプトロンが MNIST と Fashion-MNIST の連続トレーニングでソフトウェア ベースラインと同等の 97% と 86% の精度を達成することを示しています。
この結果は、提案されたソリューションの致命的な忘れに対する耐性と、アナログ デバイスの欠陥に対する回復力を示しています。
さらに、当社のアーキテクチャは memristor の制限された耐久性と互換性があり、メモリが 15 分の 1 に削減されます。

要約(オリジナル)

Deep learning has made remarkable progress in various tasks, surpassing human performance in some cases. However, one drawback of neural networks is catastrophic forgetting, where a network trained on one task forgets the solution when learning a new one. To address this issue, recent works have proposed solutions based on Binarized Neural Networks (BNNs) incorporating metaplasticity. In this work, we extend this solution to quantized neural networks (QNNs) and present a memristor-based hardware solution for implementing metaplasticity during both inference and training. We propose a hardware architecture that integrates quantized weights in memristor devices programmed in an analog multi-level fashion with a digital processing unit for high-precision metaplastic storage. We validated our approach using a combined software framework and memristor based crossbar array for in-memory computing fabricated in 130 nm CMOS technology. Our experimental results show that a two-layer perceptron achieves 97% and 86% accuracy on consecutive training of MNIST and Fashion-MNIST, equal to software baseline. This result demonstrates immunity to catastrophic forgetting and the resilience to analog device imperfections of the proposed solution. Moreover, our architecture is compatible with the memristor limited endurance and has a 15x reduction in memory

arxiv情報

提供元, 利用サービス

arxiv.jp, Google