Attentive Mask CLIP

要約

イメージ トークンの削除は、イメージの特徴を計算するコストを削減するための効率的な拡張戦略です。
ただし、この効率的な拡張戦略は、CLIP ベースのトレーニングの精度に悪影響を及ぼすことがわかっています。
画像トークンの大部分を削除すると、特定のテキスト説明に関連付けられたセマンティック コンテンツが不適切に破棄され、CLIP トレーニングで不適切なペアリング ターゲットが構成される可能性があると仮定しています。
この問題に対処するために、テキストの説明と高いセマンティック相関を持つトークンを保持する、CLIP トレーニング用の注意深いトークン除去アプローチを提案します。
相関スコアは、ビジュアル エンコーダーの EMA バージョンを使用してオンラインで計算されます。
私たちの実験は、提案された注意深いマスキング アプローチが、CLIP トレーニングのランダム トークン除去の以前の方法よりも優れたパフォーマンスを発揮することを示しています。
このアプローチは、複数の拡張ビューを画像に適用することも効率的にします。また、これらのビュー間のインスタンス対比学習タスクを CLIP フレームワークに導入することもできます。
SLIP や MaskCLIP などのさまざまな事前トレーニング ターゲットを組み合わせた他の CLIP の改善と比較して、私たちの方法はより効果的であるだけでなく、はるかに効率的でもあります。
具体的には、ViT-B と YFCC-15M データセットを使用して、私たちのアプローチは、ImageNet-1K ゼロショット分類で $43.9\%$ のトップ 1 精度を達成し、$62.7/42.1$ と $38.0/23.2$ の I2T/T2I 検索精度を達成します。
Flickr30K と MS COCO は、SLIP 法より $+1.1\%$、$+5.5/+0.9$、$+4.4/+1.3$ 高く、$2.30\times$ 高速です。
単純な CLIP モデルよりも $1.16\times$ 速く実行するアプローチの効率的なバージョンは、これらのベンチマークで $+5.3\%$、$+11.3/+8.0$、および $+9.5/+4.9$ の大幅な利益を達成します。

要約(オリジナル)

Image token removal is an efficient augmentation strategy for reducing the cost of computing image features. However, this efficient augmentation strategy has been found to adversely affect the accuracy of CLIP-based training. We hypothesize that removing a large portion of image tokens may improperly discard the semantic content associated with a given text description, thus constituting an incorrect pairing target in CLIP training. To address this issue, we propose an attentive token removal approach for CLIP training, which retains tokens with a high semantic correlation to the text description. The correlation scores are computed in an online fashion using the EMA version of the visual encoder. Our experiments show that the proposed attentive masking approach performs better than the previous method of random token removal for CLIP training. The approach also makes it efficient to apply multiple augmentation views to the image, as well as introducing instance contrastive learning tasks between these views into the CLIP framework. Compared to other CLIP improvements that combine different pre-training targets such as SLIP and MaskCLIP, our method is not only more effective, but also much more efficient. Specifically, using ViT-B and YFCC-15M dataset, our approach achieves $43.9\%$ top-1 accuracy on ImageNet-1K zero-shot classification, as well as $62.7/42.1$ and $38.0/23.2$ I2T/T2I retrieval accuracy on Flickr30K and MS COCO, which are $+1.1\%$, $+5.5/+0.9$, and $+4.4/+1.3$ higher than the SLIP method, while being $2.30\times$ faster. An efficient version of our approach running $1.16\times$ faster than the plain CLIP model achieves significant gains of $+5.3\%$, $+11.3/+8.0$, and $+9.5/+4.9$ on these benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google