ReduceFormer: Attention with Tensor Reduction by Summation

要約

トランスフォーマーは視覚を含む多くのタスクで優れています。
ただし、低レイテンシーまたは高スループットのアプリケーションでのトランスフォーマー モデルの効率的な展開は、行列乗算やソフトマックスなどの高価な演算を伴うアテンション メカニズムの計算によって妨げられます。
これに対処するために、私たちは、注意を払って効率を最適化したモデル ファミリである ReduceFormer を導入します。
ReduceFormer は、リダクションや要素ごとの乗算などの単純な演算のみを利用するため、アーキテクチャが大幅に簡素化され、推論パフォーマンスが向上し、レイテンシーが最大 37% 削減され、スループットが 44% 向上し、他の最近の手法と同等の精度を維持できます。
提案されたモデル ファミリは、コンピューティング リソースとメモリ帯域幅が制限されているエッジ デバイスだけでなく、高スループットが求められるクラウド コンピューティングにも適しています。

要約(オリジナル)

Transformers have excelled in many tasks including vision. However, efficient deployment of transformer models in low-latency or high-throughput applications is hindered by the computation in the attention mechanism which involves expensive operations such as matrix multiplication and Softmax. To address this, we introduce ReduceFormer, a family of models optimized for efficiency with the spirit of attention. ReduceFormer leverages only simple operations such as reduction and element-wise multiplication, leading to greatly simplified architecture and improved inference performance, with up to 37% reduction in latency and 44% improvement in throughput, while maintaining competitive accuracy comparable to other recent methods. The proposed model family is suitable for edge devices where compute resource and memory bandwidth are limited, as well as for cloud computing where high throughput is sought after.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google