Measurement-driven neural-network training for integrated magnetic tunnel junction arrays

要約

より複雑なアプリケーションをサポートするために必要なニューラル ネットワークの規模が増大しているため、面積効率とエネルギー効率の高いハードウェアに対する要件が高まっています。
これらのアプリケーションの予算を満たす 1 つの方法は、メモリ内またはその近くで計算を実行することでフォン ノイマンのボトルネックを回避することです。
ニューラル ネットワークをハードウェアに転送する場合、デバイス間のばらつきやデバイスの歩留まりの低さなどの非理想的な要素がパフォーマンスに影響を与えることは避けられません。
ネットワーク トレーニング中に基板の非理想性を組み込むハードウェア認識トレーニングなどの方法は、ソリューションの汎用性を犠牲にしてパフォーマンスを回復する 1 つの方法です。
この研究では、市販のスピントランスファートルク磁気抵抗ランダムアクセスメモリ技術によく似た相補型金属酸化膜半導体チップ上に統合された20,000個の磁気トンネル接合アレイで構成されるハードウェアニューラルネットワークでの推論を実証します。
それぞれが独自の非理想的なクロスバー アレイを含む 36 個のダイを使用して、物理的にマッピングされたネットワークに少数の欠陥があるだけでも、欠陥なしでトレーニングされたネットワークのパフォーマンスが大幅に低下することを示し、一般性を犠牲にしてハードウェアが
各ダイの特定の欠陥を考慮したトレーニングにより、理想的なネットワークと同等のパフォーマンスを回復できます。
次に、ハードウェアを意識したトレーニングを統計を意識したトレーニングに拡張し、特定の欠陥位置に関係なく、ほとんどの欠陥のあるダイで適切に機能するネットワーク重みを生成する、堅牢なトレーニング方法を実証します。
36 個の物理ダイで評価すると、統計を意識してトレーニングされたソリューションは、MNIST データセット上でソフトウェア ベースラインとわずか 2% 異なる平均誤分類誤差を達成できます。
この統計を意識したトレーニング方法は、業界対応アプリケーションに適したハードウェアにマッピングされた多くの層を備えたネットワークに一般化できます。

要約(オリジナル)

The increasing scale of neural networks needed to support more complex applications has led to an increasing requirement for area- and energy-efficient hardware. One route to meeting the budget for these applications is to circumvent the von Neumann bottleneck by performing computation in or near memory. An inevitability of transferring neural networks onto hardware is that non-idealities such as device-to-device variations or poor device yield impact performance. Methods such as hardware-aware training, where substrate non-idealities are incorporated during network training, are one way to recover performance at the cost of solution generality. In this work, we demonstrate inference on hardware neural networks consisting of 20,000 magnetic tunnel junction arrays integrated on a complementary metal-oxide-semiconductor chips that closely resembles market-ready spin transfer-torque magnetoresistive random access memory technology. Using 36 dies, each containing a crossbar array with its own non-idealities, we show that even a small number of defects in physically mapped networks significantly degrades the performance of networks trained without defects and show that, at the cost of generality, hardware-aware training accounting for specific defects on each die can recover to comparable performance with ideal networks. We then demonstrate a robust training method that extends hardware-aware training to statistics-aware training, producing network weights that perform well on most defective dies regardless of their specific defect locations. When evaluated on the 36 physical dies, statistics-aware trained solutions can achieve a mean misclassification error on the MNIST dataset that differs from the software-baseline by only 2 %. This statistics-aware training method could be generalized to networks with many layers that are mapped to hardware suited for industry-ready applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google