A Manifold Representation of the Key in Vision Transformers

要約

ビジョン トランスフォーマーは、複数のアテンション ブロックを積み重ねることにより、マルチヘッド セルフ アテンション (MSA) を実装します。
多くの場合、クエリ、キー、および値は絡み合って、単一の共有線形変換を介してこれらのブロック内で生成されます。
このペーパーでは、キーをクエリと値から切り離し、キーに多様体表現を採用するという概念を検討します。
私たちの実験では、キーを分離してマニホールド構造を持たせることでモデルのパフォーマンスを向上できることが明らかになりました。
具体的には、ViT-B ではトップ 1 の精度が 0.87% 向上し、Swin-T では、マニホールド キーに 8 つのチャートが含まれる ImageNet-1K データセットでトップ 1 の精度が 0.52% 向上しています。
私たちのアプローチは、COCO データセット上のオブジェクト検出およびインスタンス セグメンテーション タスクでも肯定的な結果をもたらします。
詳細なアブレーション研究を通じて、これらのパフォーマンスの向上は、単にパラメータや計算を追加するという単純さによるものではないことを証明しています。
今後の研究では、そのような表現の予算を削減するための戦略が調査され、その結果に基づいてさらなるパフォーマンスの向上を目指す可能性があります。

要約(オリジナル)

Vision Transformers implement multi-head self-attention (MSA) via stacking multiple attention blocks. The query, key, and value are often intertwined and generated within those blocks via a single, shared linear transformation. This paper explores the concept of disentangling the key from the query and value, and adopting a manifold representation for the key. Our experiments reveal that decoupling and endowing the key with a manifold structure can enhance the model performance. Specifically, ViT-B exhibits a 0.87% increase in top-1 accuracy, while Swin-T sees a boost of 0.52% in top-1 accuracy on the ImageNet-1K dataset, with eight charts in the manifold key. Our approach also yields positive results in object detection and instance segmentation tasks on the COCO dataset. Through detailed ablation studies, we establish that these performance gains are not merely due to the simplicity of adding more parameters and computations. Future research may investigate strategies for cutting the budget of such representations and aim for further performance improvements based on our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google