Towards Exact Gradient-based Training on Analog In-memory Computing

要約

大規模なビジョンまたは言語モデルの使用には経済的および環境的コストがかかるため、アナログ インメモリ アクセラレータはエネルギー効率の高い AI にとって有望なソリューションとなります。
アナログ アクセラレータに関する推論は最近研究されていますが、トレーニングの観点は十分に研究されていません。
最近の研究では、デジタル AI トレーニングの「主力」である確率的勾配降下法 (SGD) アルゴリズムが、理想的でないデバイスでのモデル トレーニングに適用されると不正確に収束することが示されています。
この論文では、アナログ デバイスでの勾配ベースのトレーニングの理論的基礎を示します。
まず、アナログ デバイスの非対称更新によって引き起こされる SGD の非収束問題を特徴付けることから始めます。
次に、漸近誤差の下限を提供して、分析のアーティファクトではなく、SGD ベースのアナログ トレーニングの基本的なパフォーマンス制限があることを示します。
この問題に対処するために、私たちは、Tiki-Taka と呼ばれるヒューリスティック アナログ アルゴリズムを研究します。このアルゴリズムは、最近、SGD と比較して優れた経験的パフォーマンスを示し、臨界点に正確に収束し、漸近誤差を排除する能力を厳密に示しています。
シミュレーションにより、分析の正しさが検証されます。

要約(オリジナル)

Given the high economic and environmental costs of using large vision or language models, analog in-memory accelerators present a promising solution for energy-efficient AI. While inference on analog accelerators has been studied recently, the training perspective is underexplored. Recent studies have shown that the ‘workhorse’ of digital AI training – stochastic gradient descent (SGD) algorithm converges inexactly when applied to model training on non-ideal devices. This paper puts forth a theoretical foundation for gradient-based training on analog devices. We begin by characterizing the non-convergent issue of SGD, which is caused by the asymmetric updates on the analog devices. We then provide a lower bound of the asymptotic error to show that there is a fundamental performance limit of SGD-based analog training rather than an artifact of our analysis. To address this issue, we study a heuristic analog algorithm called Tiki-Taka that has recently exhibited superior empirical performance compared to SGD and rigorously show its ability to exactly converge to a critical point and hence eliminates the asymptotic error. The simulations verify the correctness of the analyses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google