IDEA: Image Description Enhanced CLIP-Adapter

要約

CLIP (Contrastive Language-Image Pre-training) は、パターン認識とコンピューター ビジョンで大きな成功を収めています。
CLIP を下流のタスク (ゼロショットまたは少数ショットの分類など) に転送することは、マルチモーダル学習におけるホットなトピックです。
しかし、現在の研究は主に、画像とテキストのペア間の補完情報や相関関係を十分に活用することなく、テキストの即時学習または視覚に合わせたアダプターの調整に焦点を当てています。
この論文では、CLIP を少数ショットの画像分類タスクに適応させるための Image description Enhanced CLIP-Adapter (IDEA) 手法を提案します。
この方法では、画像の視覚的特徴とテキストによる説明の両方を活用して、きめの細かい特徴をキャプチャします。
IDEA は CLIP のためのトレーニング不要の手法であり、複数のタスクにおいて最先端のモデルと同等かそれを超える可能性があります。
さらに、Trainable-IDEA (T-IDEA) を導入します。これは、2 つの軽量の学習可能なコンポーネント (つまり、プロジェクターと学習可能な潜在空間) を追加することで IDEA を拡張し、モデルのパフォーマンスをさらに強化し、11 のデータセットで SOTA 結果を達成します。
重要な貢献の 1 つとして、私たちは Llama モデルを採用し、11 のデータセットの画像のテキスト説明を生成する包括的なパイプラインを設計しました。その結果、合計 1,637,795 個の画像とテキストのペアが「IMD-11」と名付けられました。
私たちのコードとデータは https://github.com/FourierAI/IDEA で公開されています。

要約(オリジナル)

CLIP (Contrastive Language-Image Pre-training) has attained great success in pattern recognition and computer vision. Transferring CLIP to downstream tasks (e.g. zero- or few-shot classification) is a hot topic in multimodal learning. However, current studies primarily focus on either prompt learning for text or adapter tuning for vision, without fully exploiting the complementary information and correlations among image-text pairs. In this paper, we propose an Image Description Enhanced CLIP-Adapter (IDEA) method to adapt CLIP to few-shot image classification tasks. This method captures fine-grained features by leveraging both visual features and textual descriptions of images. IDEA is a training-free method for CLIP, and it can be comparable to or even exceeds state-of-the-art models on multiple tasks. Furthermore, we introduce Trainable-IDEA (T-IDEA), which extends IDEA by adding two lightweight learnable components (i.e., a projector and a learnable latent space), further enhancing the model’s performance and achieving SOTA results on 11 datasets. As one important contribution, we employ the Llama model and design a comprehensive pipeline to generate textual descriptions for images of 11 datasets, resulting in a total of 1,637,795 image-text pairs, named ‘IMD-11’. Our code and data are released at https://github.com/FourierAI/IDEA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google