A Survey on Efficient Training of Transformers

要約

タイトル：Transformerの効率的なトレーニングに関する調査
要約：

– Transformerにおける最近の進展は、計算リソースの重要性を強調し、計算およびメモリリソースを効率的に活用し、Transformerのトレーニングをより高速、低コスト、高精度にするための効率的なトレーニング技術の開発の重要性を強調しています。
– この調査は、効率的なTransformerトレーニングに関する初めての体系的な概要を提供し、加速算術とハードウェアの最近の進歩をカバーし、前者に焦点を当てます。
– トレーニング中の中間テンソルの計算およびメモリコストを節約する方法と、ハードウェア/アルゴリズム共同設計の技術とを比較・分析します。
– 最後に、今後の研究の課題や有望な領域についても議論します。

要約(オリジナル)

Recent advances in Transformers have come with a huge requirement on computing resources, highlighting the importance of developing efficient training techniques to make Transformer training faster, at lower cost, and to higher accuracy by the efficient use of computation and memory resources. This survey provides the first systematic overview of the efficient training of Transformers, covering the recent progress in acceleration arithmetic and hardware, with a focus on the former. We analyze and compare methods that save computation and memory costs for intermediate tensors during training, together with techniques on hardware/algorithm co-design. We finally discuss challenges and promising areas for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI