FLatten Transformer: Vision Transformer using Focused Linear Attention

要約

自己注意の二次計算の複雑さは、Transformer モデルを視覚タスクに適用する際の永続的な課題でした。
一方、線形アテンションは、慎重に設計されたマッピング関数を通じてソフトマックス演算を近似することにより、線形の複雑さを備えたより効率的な代替手段を提供します。
ただし、現在の線形アテンションのアプローチでは、パフォーマンスが大幅に低下するか、マッピング関数による追加の計算オーバーヘッドが発生します。
本稿では、高効率と表現力の両立を実現する新しい集中リニアアテンションモジュールを提案する。
具体的には、まず、線形注意力のパフォーマンス低下に寄与する要因を、集中力と特徴の多様性という 2 つの観点から分析します。
これらの制限を克服するために、単純だが効果的なマッピング関数と効率的なランク復元モジュールを導入し、低い計算複雑さを維持しながら自己注意の表現力を強化します。
広範な実験により、当社のリニア アテンション モジュールはさまざまな高度なビジョン トランスフォーマーに適用可能であり、複数のベンチマークで一貫して向上したパフォーマンスを達成できることが示されています。
コードは https://github.com/LeapLabTHU/FLatten-Transformer で入手できます。

要約(オリジナル)

The quadratic computation complexity of self-attention has been a persistent challenge when applying Transformer models to vision tasks. Linear attention, on the other hand, offers a much more efficient alternative with its linear complexity by approximating the Softmax operation through carefully designed mapping functions. However, current linear attention approaches either suffer from significant performance degradation or introduce additional computation overhead from the mapping functions. In this paper, we propose a novel Focused Linear Attention module to achieve both high efficiency and expressiveness. Specifically, we first analyze the factors contributing to the performance degradation of linear attention from two perspectives: the focus ability and feature diversity. To overcome these limitations, we introduce a simple yet effective mapping function and an efficient rank restoration module to enhance the expressiveness of self-attention while maintaining low computation complexity. Extensive experiments show that our linear attention module is applicable to a variety of advanced vision Transformers, and achieves consistently improved performances on multiple benchmarks. Code is available at https://github.com/LeapLabTHU/FLatten-Transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google