Improving Zero-Shot Models with Label Distribution Priors

要約

顔の年齢やオブジェクトの種類などの属性を使用して大規模な画像データセットにラベルを付けるのは面倒で、実行できない場合もあります。
教師あり機械学習手法は非常に正確なソリューションを提供しますが、多くの場合利用できない手動のラベルが必要です。
ゼロ ショット モデル (CLIP など) は手動ラベルを必要としませんが、特に属性が数値の場合、教師ありモデルほど正確ではありません。
新しいアプローチである CLIPPR (CLIP with Priors) を提案します。これは、ラベルのないデータセットの回帰と分類にゼロ ショット モデルを適応させます。
この方法では、注釈付きの画像は使用しません。
代わりに、データセット内のラベル分布に対する事前分布を想定しています。
次に、2 つの競合する目的の下で、CLIP の上でアダプター ネットワークをトレーニングします。
さらに、分布の事前確率を使用して、視覚および言語モデルのプロンプトを選択するための新しいアプローチを提示します。
私たちの方法は効果的で、元のモデルよりも大幅に改善されています。
UTK 年齢回帰タスクの平均絶対誤差が 28% 改善されたことを示しています。
また、ラベルを使用せずに、ImageNet データセットの分類精度を 2.83% 向上させた、分類ベンチマークの有望な結果も示しています。

要約(オリジナル)

Labeling large image datasets with attributes such as facial age or object type is tedious and sometimes infeasible. Supervised machine learning methods provide a highly accurate solution, but require manual labels which are often unavailable. Zero-shot models (e.g., CLIP) do not require manual labels but are not as accurate as supervised ones, particularly when the attribute is numeric. We propose a new approach, CLIPPR (CLIP with Priors), which adapts zero-shot models for regression and classification on unlabelled datasets. Our method does not use any annotated images. Instead, we assume a prior over the label distribution in the dataset. We then train an adapter network on top of CLIP under two competing objectives: i) minimal change of predictions from the original CLIP model ii) minimal distance between predicted and prior distribution of labels. Additionally, we present a novel approach for selecting prompts for Vision & Language models using a distributional prior. Our method is effective and presents a significant improvement over the original model. We demonstrate an improvement of 28% in mean absolute error on the UTK age regression task. We also present promising results for classification benchmarks, improving the classification accuracy on the ImageNet dataset by 2.83%, without using any labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google