AutoCLIP: Auto-tuning Zero-Shot Classifiers for Vision-Language Models

要約

CLIP などの視覚言語モデルに基づいて構築された分類子は、広範囲の画像分類タスクにわたって顕著なゼロショット パフォーマンスを示しています。
これまでの研究では、プロンプト テンプレートに基づいてクラスごとに記述子セットを自動的に作成するさまざまな方法が研究されてきました。その範囲は、大規模な言語モデルから取得したテンプレートよりも手動で作成したテンプレートから、ランダムな単語や文字から構築されたテンプレートにまで及びます。
対照的に、それぞれのエンコードされたクラス記述子からのゼロショット分類器の導出は、ほとんど変更されていません。つまり、平均化されたエンコードされたクラス記述子とエンコードされた画像の間のコサイン類似度を最大化するクラスに分類されます。
ただし、特定の記述子が他の記述子よりも特定の画像上の視覚的手がかりとよく一致する場合、すべてのクラス記述子を均等に重み付けすることは最適ではない可能性があります。
この研究では、ゼロショット分類器を自動調整するための方法である AutoCLIP を提案します。
AutoCLIP は、各プロンプト テンプレートに画像ごとの重みを割り当てます。この重みは、推論時のクラス記述子と画像の類似性の統計から導出されます。
AutoCLIP は完全に監視されておらず、オーバーヘッドが非常に低く、数行のコードで簡単に実装できます。
広範囲の視覚言語モデル、データセット、およびプロンプト テンプレートに対して、AutoCLIP がベースラインよりも一貫して、最大 3% の点精度で優れたパフォーマンスを発揮することを示します。

要約(オリジナル)

Classifiers built upon vision-language models such as CLIP have shown remarkable zero-shot performance across a broad range of image classification tasks. Prior work has studied different ways of automatically creating descriptor sets for every class based on prompt templates, ranging from manually engineered templates over templates obtained from a large language model to templates built from random words and characters. In contrast, deriving zero-shot classifiers from the respective encoded class descriptors has remained nearly unchanged, that is: classify to the class that maximizes the cosine similarity between its averaged encoded class descriptors and the encoded image. However, weighting all class descriptors equally can be suboptimal when certain descriptors match visual clues on a given image better than others. In this work, we propose AutoCLIP, a method for auto-tuning zero-shot classifiers. AutoCLIP assigns to each prompt template per-image weights, which are derived from statistics of class descriptor-image similarities at inference time. AutoCLIP is fully unsupervised, has very low overhead, and can be easily implemented in few lines of code. We show that for a broad range of vision-language models, datasets, and prompt templates, AutoCLIP outperforms baselines consistently and by up to 3 percent point accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google