Post-hoc Probabilistic Vision-Language Models

要約

クリップやSiglipなどのビジョン言語モデル（VLM）は、分類、検索、および生成タスクで顕著な成功を収めています。
このため、VLMは、コサインの類似性を使用して類似性が評価されるジョイント潜在空間に画像とテキストの説明を決定的にマッピングします。
ただし、入力の決定論的マッピングは、ダウンストリームタスクで使用された場合、ドメインシフトから生じる概念に対する不確実性をキャプチャできません。
この作業では、追加のトレーニングを必要としないVLMSの事後不確実性の推定を提案します。
私たちの方法は、VLMSの最後の層にわたってベイジアン後部近似を活用し、コサインの類似性に対する不確実性を分析的に定量化します。
アクティブ学習における不確実性の定量化とサポートセット選択の有効性を示します。
ベースラインと比較して、改善され、校正された予測不確実性、解釈可能な不確実性の推定値、およびサンプル効率の高いアクティブ学習を取得します。
私たちの結果は、大規模モデルの安全性が批判的なアプリケーションに対する有望です。

要約(オリジナル)

Vision-language models (VLMs), such as CLIP and SigLIP, have found remarkable success in classification, retrieval, and generative tasks. For this, VLMs deterministically map images and text descriptions to a joint latent space in which their similarity is assessed using the cosine similarity. However, a deterministic mapping of inputs fails to capture uncertainties over concepts arising from domain shifts when used in downstream tasks. In this work, we propose post-hoc uncertainty estimation in VLMs that does not require additional training. Our method leverages a Bayesian posterior approximation over the last layers in VLMs and analytically quantifies uncertainties over cosine similarities. We demonstrate its effectiveness for uncertainty quantification and support set selection in active learning. Compared to baselines, we obtain improved and well-calibrated predictive uncertainties, interpretable uncertainty estimates, and sample-efficient active learning. Our results show promise for safety-critical applications of large-scale models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google