PaCa-ViT: Learning Patch-to-Cluster Attention in Vision Transformers

要約

タイトル：Vision TransformersにおけるPatch-to-Cluster Attentionの学習

要約：

– ビジョン・トランスフォーマー（ViT）は、画像パッチを「ビジュアル・トークン」として扱い、パッチ間の注意を学習するという仮定のもとに構築されています。
– しかし、パッチ埋め込みベースのトークナイザーは、テキストベースのトークナイザーと比べて意味的ギャップがあり、パッチ間の注意は二次元の複雑性の問題を抱え、ViTの学習結果を説明することは困難です。
– この研究では、ViTにおいてPatch-to-Cluster attention（PaCa）を学習することを提案しました。
– PaCa-ViTでは、問い合わせはパッチから始まり、キーと値はクラスタリングに基づいて直接生成されます。クラスターはエンドツーエンドで学習され、トークナイザーの向上やよりよく解釈できるモデルに誘導するために「クラスタリングによる注意」と「注意によるクラスタリング」を同時に含みます。
– PaCaモジュールは、効率的で解釈可能なViTバックボーンと意味的セグメンテーションヘッドネットワークの設計に使用されます。
– 実験では、ImageNet-1kの画像分類、MS-COCOの物体検出とインスタンスセグメンテーション、MIT-ADE20kの意味的セグメンテーションに提案手法が適用されました。
– 従来のSWinやPVTに比べ、提案手法はすべてのベンチマークでSWinやPVTよりも大幅に優れた性能を発揮しました。
– 線形の複雑性により、提案手法はMS-COCOやMIT-ADE20kでPVTモデルよりも効率的です。
– 学習されたクラスターは意味的に有意義です。コードとモデルのチェックポイントは https://github.com/iVMCL/PaCaViT で入手できます。

要約(オリジナル)

Vision Transformers (ViTs) are built on the assumption of treating image patches as “visual tokens’ and learn patch-to-patch attention. The patch embedding based tokenizer has a semantic gap with respect to its counterpart, the textual tokenizer. The patch-to-patch attention suffers from the quadratic complexity issue, and also makes it non-trivial to explain learned ViTs. To address these issues in ViT, this paper proposes to learn Patch-to-Cluster attention (PaCa) in ViT. Queries in our PaCa-ViT starts with patches, while keys and values are directly based on clustering (with a predefined small number of clusters). The clusters are learned end-to-end, leading to better tokenizers and inducing joint clustering-for-attention and attention-for-clustering for better and interpretable models. The quadratic complexity is relaxed to linear complexity. The proposed PaCa module is used in designing efficient and interpretable ViT backbones and semantic segmentation head networks. In experiments, the proposed methods are tested on ImageNet-1k image classification, MS-COCO object detection and instance segmentation and MIT-ADE20k semantic segmentation. Compared with the prior art, it obtains better performance in all the three benchmarks than the SWin and the PVTs by significant margins in ImageNet-1k and MIT-ADE20k. It is also significantly more efficient than PVT models in MS-COCO and MIT-ADE20k due to the linear complexity. The learned clusters are semantically meaningful. Code and model checkpoints are available at https://github.com/iVMCL/PaCaViT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI