Embracing Diversity: Interpretable Zero-shot classification beyond one vector per class

要約

ビジョン言語モデルにより、再トレーニングを必要とせずにオブジェクトをオープンワールドで分類できるようになります。
このゼロショット パラダイムは大きな進歩を示していますが、今日の最高のモデルであっても、オブジェクトがその典型的な描写と異なる場合には、歪んだパフォーマンスを示します。
梨などの現実世界のオブジェクトは、角切りから丸ごと、テーブルの上やボウルに盛られたものまで、さまざまな形で現れますが、標準の VLM 分類子は、クラスのすべてのインスタンスをクラス ラベルに基づいた単一のベクトルにマッピングします。
}。
私たちは、クラス内のこの豊かな多様性を表現するには、ゼロショット分類が単一のベクトルを超えるべきであると主張します。
再トレーニングせずにゼロショット設定のまま、推論された属性を使用してクラス内の多様性をエンコードして説明する方法を提案します。
私たちの手法は、階層、多様なオブジェクトの状態、現実世界の地理的多様性を含む大規模なデータセットだけでなく、クラス内の多様性がそれほど普及していない可能性があるより詳細なデータセットに対しても、標準のゼロショット分類よりも一貫して優れていることがわかりました。
重要なのは、私たちの手法は本質的に解釈可能であり、モデルのデバッグを容易にし、透明性を高めるために各推論に忠実な説明を提供することです。
また、私たちの手法は多様性を考慮して多数の属性に効率的に対応できるため、非典型的なインスタンスのより正確な予測につながることもわかりました。
最後に、全体的な精度と最低クラスの精度の間の原理的なトレードオフを特徴付けます。これは、メソッドのハイパーパラメータを介して調整できます。
私たちは、この研究が、世界の多様性を捉え、パフォーマンスを損なうことなく透過的な AI システムを構築するための、単一のクラス ベクトルを超えたゼロショット分類の可能性についてのさらなる研究に拍車をかけることを願っています。

要約(オリジナル)

Vision-language models enable open-world classification of objects without the need for any retraining. While this zero-shot paradigm marks a significant advance, even today’s best models exhibit skewed performance when objects are dissimilar from their typical depiction. Real world objects such as pears appear in a variety of forms — from diced to whole, on a table or in a bowl — yet standard VLM classifiers map all instances of a class to a \it{single vector based on the class label}. We argue that to represent this rich diversity within a class, zero-shot classification should move beyond a single vector. We propose a method to encode and account for diversity within a class using inferred attributes, still in the zero-shot setting without retraining. We find our method consistently outperforms standard zero-shot classification over a large suite of datasets encompassing hierarchies, diverse object states, and real-world geographic diversity, as well finer-grained datasets where intra-class diversity may be less prevalent. Importantly, our method is inherently interpretable, offering faithful explanations for each inference to facilitate model debugging and enhance transparency. We also find our method scales efficiently to a large number of attributes to account for diversity — leading to more accurate predictions for atypical instances. Finally, we characterize a principled trade-off between overall and worst class accuracy, which can be tuned via a hyperparameter of our method. We hope this work spurs further research into the promise of zero-shot classification beyond a single class vector for capturing diversity in the world, and building transparent AI systems without compromising performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google