Robust Calibration of Large Vision-Language Adapters

要約

この論文では、CLIP ベースのモデル適応における、特に、CLIP 適応に関する既存の文献では見落とされてきた、配布外 (OOD) サンプルの困難なシナリオにおけるミスキャリブレーションの重大な問題について取り上げます。
アダプター、プロンプト学習、テスト時適応などの一般的な CLIP 適応アプローチは、分布ドリフトが存在する場合、ゼロショット ベースラインのキャリブレーション能力を大幅に低下させることを経験的に示しています。
我々は、完全教師付きモデルのキャリブレーションに関する以前の研究とは対照的に、ロジット範囲の増加が CLIP 適応手法の誤キャリブレーションの根本的な原因であることを特定しました。
これらの観察に基づいて、各サンプルのロジット範囲をゼロショット予測ロジットにスケールすることにより、誤校正を軽減するためのシンプルでモデルに依存しないソリューションを提案します。
これを達成するための 3 つの異なる代替案を検討します。これらは、適応中に統合することも、推論時に直接使用することもできます。
一般的な OOD 分類ベンチマークに関する包括的な実験により、識別パフォーマンスを維持しながら誤ったキャリブレーションを軽減する上で、提案されたアプローチの有効性が実証されており、その改善は、これらの人気が高まっているアプローチの 3 つのファミリー全体にわたって一貫しています。
コードは https://github.com/Bala93/CLIPCalib で公開されています。

要約(オリジナル)

This paper addresses the critical issue of miscalibration in CLIP-based model adaptation, particularly in the challenging scenario of out-of-distribution (OOD) samples, which has been overlooked in the existing literature on CLIP adaptation. We empirically demonstrate that popular CLIP adaptation approaches, such as Adapters, Prompt Learning, and Test-Time Adaptation, substantially degrade the calibration capabilities of the zero-shot baseline in the presence of distributional drift. We identify the increase in logit ranges as the underlying cause of miscalibration of CLIP adaptation methods, contrasting with previous work on calibrating fully-supervised models. Motivated by these observations, we present a simple and model-agnostic solution to mitigate miscalibration, by scaling the logit range of each sample to its zero-shot prediction logits. We explore three different alternatives to achieve this, which can be either integrated during adaptation or directly used at inference time. Comprehensive experiments on popular OOD classification benchmarks demonstrate the effectiveness of the proposed approaches in mitigating miscalibration while maintaining discriminative performance, whose improvements are consistent across the three families of these increasingly popular approaches. The code is publicly available at: https://github.com/Bala93/CLIPCalib

arxiv情報

提供元, 利用サービス

arxiv.jp, Google