A Survey on Efficient Training of Transformers

要約

Transformer の最近の進歩には、コンピューティング リソースに対する膨大な要件が伴います。これは、Transformer のトレーニングをより高速に、低コストで、計算とメモリ リソースを効率的に使用してより高い精度にするための効率的なトレーニング手法を開発することの重要性を強調しています。
この調査では、トランスフォーマーの効率的なトレーニングの最初の体系的な概要を提供し、前者に焦点を当てて、加速演算とハードウェアの最近の進歩をカバーしています。
トレーニング中に中間テンソルの計算とメモリのコストを節約する方法を、ハードウェア/アルゴリズムの協調設計に関する手法とともに分析および比較します。
最後に、今後の研究の課題と有望な分野について説明します。

要約(オリジナル)

Recent advances in Transformers have come with a huge requirement on computing resources, highlighting the importance of developing efficient training techniques to make Transformer training faster, at lower cost, and to higher accuracy by the efficient use of computation and memory resources. This survey provides the first systematic overview of the efficient training of Transformers, covering the recent progress in acceleration arithmetic and hardware, with a focus on the former. We analyze and compare methods that save computation and memory costs for intermediate tensors during training, together with techniques on hardware/algorithm co-design. We finally discuss challenges and promising areas for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google