Layer Ensemble Averaging for Improving Memristor-Based Artificial Neural Network Performance

要約

人工ニューラル ネットワークは次元のスケーリングにより進歩しましたが、従来のコンピューティングはノイマン ボトルネックによる非効率性に直面しています。
memristor のようなインメモリ計算アーキテクチャは有望ですが、ハードウェアの非理想性による課題に直面しています。
この研究では、層アンサンブル平均化を提案し、実験的に実証します。これは、事前トレーニングされたニューラル ネットワーク ソリューションをソフトウェアから新興メモリ デバイスの欠陥のあるハードウェア クロスバーにマッピングし、推論でソフトウェアに近いパフォーマンスを確実に達成する技術です。
このアプローチは、ネットワークが以前に学習した情報を壊滅的に忘れることなく新しいタスクを学習する必要があるという継続学習問題について、カスタム 20,000 デバイスのハードウェア プロトタイピング プラットフォームを使用して調査されています。
結果は、レイヤー マッピングに必要なデバイスの数をトレードオフすることにより、レイヤー アンサンブルの平均化により、欠陥のあるメモリスティブ ネットワークのパフォーマンスをソフトウェア ベースラインまで確実に向上できることを示しています。
調査された問題では、提案されたアプローチを使用すると、平均マルチタスク分類精度が 61 % から 72 % (ソフトウェア ベースラインの 1 % 未満) に向上しました。

要約(オリジナル)

Artificial neural networks have advanced due to scaling dimensions, but conventional computing faces inefficiency due to the von Neumann bottleneck. In-memory computation architectures, like memristors, offer promise but face challenges due to hardware non-idealities. This work proposes and experimentally demonstrates layer ensemble averaging, a technique to map pre-trained neural network solutions from software to defective hardware crossbars of emerging memory devices and reliably attain near-software performance on inference. The approach is investigated using a custom 20,000-device hardware prototyping platform on a continual learning problem where a network must learn new tasks without catastrophically forgetting previously learned information. Results demonstrate that by trading off the number of devices required for layer mapping, layer ensemble averaging can reliably boost defective memristive network performance up to the software baseline. For the investigated problem, the average multi-task classification accuracy improves from 61 % to 72 % (< 1 % of software baseline) using the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google