SILC: Improving Vision Language Pretraining with Self-Distillation

要約

Web スケールの画像キャプション データセットでの画像テキストの事前トレーニングは、CLIP とそのバリアントの成功のおかげで、オープン語彙分類および検索モデルのデフォルトのレシピになりました。
いくつかの研究では、高密度予測タスクに CLIP 機能を使用し、オープンセット能力の出現を示しています。
ただし、この対照的な目的は画像とテキストの位置合わせにのみ焦点を当てており、高密度予測タスクのための画像特徴学習を奨励するものではありません。
この研究では、SILC を提案するための対比事前トレーニングの追加目的として、自己蒸留によるローカルからグローバルへの対応学習を単純に追加することを提案します。
指数移動平均 (EMA) 教師モデルから局所的な画像特徴を抽出すると、分類、検索、特にセグメンテーションを含むいくつかのコンピューター ビジョン タスクにおけるモデルのパフォーマンスが大幅に向上することを示します。
さらに、ベースラインと比較して、同じトレーニング期間でも SILC がより適切にスケーリングすることを示します。
私たちのモデル SILC は、ゼロショット分類、少数ショット分類、画像とテキストの検索、ゼロショット セグメンテーション、オープンボキャブラリー セグメンテーションの新しい最先端技術を確立します。

要約(オリジナル)

Image-Text pretraining on web-scale image caption dataset has become the default recipe for open vocabulary classification and retrieval models thanks to the success of CLIP and its variants. Several works have also used CLIP features for dense prediction tasks and have shown the emergence of open-set abilities. However, the contrastive objective only focuses on image-text alignment and does not incentivise image feature learning for dense prediction tasks. In this work, we propose the simple addition of local-to-global correspondence learning by self-distillation as an additional objective for contrastive pre-training to propose SILC. We show that distilling local image features from an exponential moving average (EMA) teacher model significantly improves model performance on several computer vision tasks including classification, retrieval, and especially segmentation. We further show that SILC scales better with the same training duration compared to the baselines. Our model SILC sets a new state of the art for zero-shot classification, few shot classification, image and text retrieval, zero-shot segmentation, and open vocabulary segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google