FLatten Transformer: Vision Transformer using Focused Linear Attention

要約

Transformerモデルを視覚タスクに適用する際、自己注意の2次的な計算複雑性が根強い課題となっている。一方、線形注意は、注意深く設計されたマッピング関数を通してソフトマックス演算を近似することにより、その線形複雑性ではるかに効率的な代替手段を提供します。しかし、現在の線形注意のアプローチは、性能の大幅な劣化に悩まされるか、マッピング関数による追加の計算オーバーヘッドが発生する。本論文では、高い効率性と表現力の両方を達成するために、新しいフォーカス線形注意モジュールを提案する。具体的には、まず線形注意の性能劣化の要因を、フォーカス能力と特徴の多様性という2つの観点から分析する。これらの制限を克服するために、単純でありながら効果的なマッピング関数と効率的なランク復元モジュールを導入し、低い計算複雑度を維持しながら自己注意の表現力を高める。広範な実験により、我々の線形注意モジュールが様々な高度な視覚トランスフォーマーに適用可能であり、複数のベンチマークにおいて一貫して改善された性能を達成することが示された。コードはhttps://github.com/LeapLabTHU/FLatten-Transformer。

要約(オリジナル)

The quadratic computation complexity of self-attention has been a persistent challenge when applying Transformer models to vision tasks. Linear attention, on the other hand, offers a much more efficient alternative with its linear complexity by approximating the Softmax operation through carefully designed mapping functions. However, current linear attention approaches either suffer from significant performance degradation or introduce additional computation overhead from the mapping functions. In this paper, we propose a novel Focused Linear Attention module to achieve both high efficiency and expressiveness. Specifically, we first analyze the factors contributing to the performance degradation of linear attention from two perspectives: the focus ability and feature diversity. To overcome these limitations, we introduce a simple yet effective mapping function and an efficient rank restoration module to enhance the expressiveness of self-attention while maintaining low computation complexity. Extensive experiments show that our linear attention module is applicable to a variety of advanced vision Transformers, and achieves consistently improved performances on multiple benchmarks. Code is available at https://github.com/LeapLabTHU/FLatten-Transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL