Scalable Thermodynamic Second-order Optimization

要約

多くのハードウェア提案は、AIワークロードの推論を加速することを目的としています。
AIモデルの迅速なトレーニングの大きな社会的影響にもかかわらず、トレーニングのハードウェア加速にはあまり注意が払われていません。
熱力学的コンピューターなどの物理ベースのコンピューターは、AIトレーニングアルゴリズムで重要なプリミティブを解く効率的な手段を提供します。
通常、デジタルハードウェアの計算上外れ（たとえば、高価なマトリックスの反転による）のオプティマイザーは、物理ベースのハードウェアでロック解除できます。
この作業では、熱力学コンピューターを使用して、Kronecker-Factored近似曲率（K-FAC）と呼ばれる一般的な2次オプティマイザーを加速するためのスケーラブルなアルゴリズムを提案します。
漸近の複雑さ分析は、アルゴリズムが$ n $、レイヤーあたりのニューロンの数が増加すると、アルゴリズムを増やすことを予測しています。
数値実験は、重要な量子化ノイズの下でも、二次最適化の利点を保存できることを示しています。
最後に、現実的なハードウェアの特性に基づいて、大規模なビジョンとグラフの問題のかなりのスピードアップを予測します。

要約(オリジナル)

Many hardware proposals have aimed to accelerate inference in AI workloads. Less attention has been paid to hardware acceleration of training, despite the enormous societal impact of rapid training of AI models. Physics-based computers, such as thermodynamic computers, offer an efficient means to solve key primitives in AI training algorithms. Optimizers that normally would be computationally out-of-reach (e.g., due to expensive matrix inversions) on digital hardware could be unlocked with physics-based hardware. In this work, we propose a scalable algorithm for employing thermodynamic computers to accelerate a popular second-order optimizer called Kronecker-factored approximate curvature (K-FAC). Our asymptotic complexity analysis predicts increasing advantage with our algorithm as $n$, the number of neurons per layer, increases. Numerical experiments show that even under significant quantization noise, the benefits of second-order optimization can be preserved. Finally, we predict substantial speedups for large-scale vision and graph problems based on realistic hardware characteristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google