Fast offset corrected in-memory training

要約

抵抗性クロスバー アレイを使用したインメモリ コンピューティングは、深層学習のワークロードを非常に効率的な方法で高速化するために提案されています。
インメモリ コンピューティングの可能性を最大限に引き出すには、大規模なディープ ニューラル ネットワーク (DNN) のトレーニングと推論を高速化することが望ましいです。
これまで、専用のインメモリ トレーニング アルゴリズムが提案されてきました。これは、フォワード パスとバックワード パスを高速化するだけでなく、メモリ内および並列で重みを更新するためのトリックも確立します。
ただし、最先端のアルゴリズム (Tiki-Taka バージョン 2 (TTv2)) では、ほぼ完全なオフセット補正が依然として必要であり、プログラミングと推定の不正確さ、および長期的な不安定性のために発生する可能性のある潜在的なバイアスに悩まされています。
デバイスの材料。
ここでは、インメモリ コンピューティング用の 2 つの新しい改善されたアルゴリズム (Chopped-TTv2 (c-TTv2) および動的参照によるアナログ勾配累積 (AGAD)) を提案し、説明します。これらは、実行時の複雑さは同じですが、チョッパーを使用して残りのオフセットを修正します。
.
これらのアルゴリズムは、デバイスの要件を大幅に緩和するため、このような高速なインメモリ DNN トレーニングに使用される可能性のある材料の範囲が拡大します。

要約(オリジナル)

In-memory computing with resistive crossbar arrays has been suggested to accelerate deep-learning workloads in highly efficient manner. To unleash the full potential of in-memory computing, it is desirable to accelerate the training as well as inference for large deep neural networks (DNNs). In the past, specialized in-memory training algorithms have been proposed that not only accelerate the forward and backward passes, but also establish tricks to update the weight in-memory and in parallel. However, the state-of-the-art algorithm (Tiki-Taka version 2 (TTv2)) still requires near perfect offset correction and suffers from potential biases that might occur due to programming and estimation inaccuracies, as well as longer-term instabilities of the device materials. Here we propose and describe two new and improved algorithms for in-memory computing (Chopped-TTv2 (c-TTv2) and Analog Gradient Accumulation with Dynamic reference (AGAD)), that retain the same runtime complexity but correct for any remaining offsets using choppers. These algorithms greatly relax the device requirements and thus expanding the scope of possible materials potentially employed for such fast in-memory DNN training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google