Boosting vision transformers for image retrieval

要約

ビジョン トランスフォーマーは、画像の分類や検出などの視覚タスクにおいて目覚ましい進歩を遂げました。
ただし、インスタンス レベルの画像検索では、トランスフォーマーは畳み込みネットワークと比較してまだ優れたパフォーマンスを示していません。
変圧器が最先端技術を初めて凌駕する多くの改善を提案します。
(1) ハイブリッド アーキテクチャは、単純なトランスフォーマーよりも大幅に効果的であることを示します。
(2) グローバル (分類トークン) 情報とローカル (パッチ トークン) 情報を収集する 2 つのブランチを導入し、そこからグローバル イメージ表現を形成します。
(3) 各ブランチでは、トランス エンコーダーからマルチレイヤー機能を収集します。これは、離れたレイヤー間のスキップ接続に対応します。
(4) ビジョントランスフォーマーの相対的な弱点である、エンコーダーのより深い層での相互作用の局所性を強化します。
一般的に使用されるすべてのトレーニング セットでモデルをトレーニングし、初めてトレーニング セットごとに個別に公正な比較を行います。
いずれの場合も、グローバルな表現に基づいて以前のモデルよりも優れています。
公開コードは https://github.com/dealicious-inc/DToP で入手できます。

要約(オリジナル)

Vision transformers have achieved remarkable progress in vision tasks such as image classification and detection. However, in instance-level image retrieval, transformers have not yet shown good performance compared to convolutional networks. We propose a number of improvements that make transformers outperform the state of the art for the first time. (1) We show that a hybrid architecture is more effective than plain transformers, by a large margin. (2) We introduce two branches collecting global (classification token) and local (patch tokens) information, from which we form a global image representation. (3) In each branch, we collect multi-layer features from the transformer encoder, corresponding to skip connections across distant layers. (4) We enhance locality of interactions at the deeper layers of the encoder, which is the relative weakness of vision transformers. We train our model on all commonly used training sets and, for the first time, we make fair comparisons separately per training set. In all cases, we outperform previous models based on global representation. Public code is available at https://github.com/dealicious-inc/DToP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google