A Practical Survey on Faster and Lighter Transformers

要約

再帰型ニューラル ネットワークは、シーケンスを処理するための効果的なモデルです。
ただし、固有のシーケンシャルな性質のため、長期的な依存関係を学習することはできません。
解決策として、Vaswani 等。
入力シーケンスの任意の 2 つの位置を関連付けることができるアテンション メカニズムのみに基づいたモデルである Transformer を導入したため、任意の長い依存関係をモデル化します。
Transformer は、多数のシーケンス モデリング タスク全体で最先端技術を向上させました。
ただし、その有効性は、シーケンスの長さに関して 2 次の計算とメモリの複雑さを犠牲にしており、その採用を妨げています。
幸いなことに、ディープ ラーニング コミュニティはモデルの効率を改善することに常に関心を持っており、パラメーターの共有、枝刈り、混合精度、知識の蒸留などの多くのソリューションにつながっています。
最近、研究者は、Longformer、Reformer、Linformer、および Performer などのより複雑でない代替案を設計することにより、Transformer の制限に直接対処しました。
しかし、さまざまなソリューションがあるため、研究者や実務家にとって、容量、計算、およびメモリの間の望ましいトレードオフを満たすために、どの方法を実際に適用するかを決定することは困難になっています。
この調査では、Transformer を高速化および軽量化するための一般的なアプローチを調査し、その方法の長所、制限、および基礎となる仮定を包括的に説明することで、この問題に対処しています。

要約(オリジナル)

Recurrent neural networks are effective models to process sequences. However, they are unable to learn long-term dependencies because of their inherent sequential nature. As a solution, Vaswani et al. introduced the Transformer, a model solely based on the attention mechanism that is able to relate any two positions of the input sequence, hence modelling arbitrary long dependencies. The Transformer has improved the state-of-the-art across numerous sequence modelling tasks. However, its effectiveness comes at the expense of a quadratic computational and memory complexity with respect to the sequence length, hindering its adoption. Fortunately, the deep learning community has always been interested in improving the models’ efficiency, leading to a plethora of solutions such as parameter sharing, pruning, mixed-precision, and knowledge distillation. Recently, researchers have directly addressed the Transformer’s limitation by designing lower-complexity alternatives such as the Longformer, Reformer, Linformer, and Performer. However, due to the wide range of solutions, it has become challenging for researchers and practitioners to determine which methods to apply in practice in order to meet the desired trade-off between capacity, computation, and memory. This survey addresses this issue by investigating popular approaches to make Transformers faster and lighter and by providing a comprehensive explanation of the methods’ strengths, limitations, and underlying assumptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google