Technical report on label-informed logit redistribution for better domain generalization in low-shot classification with foundation models

要約

信頼性キャリブレーションは、下流の視力分類タスクに使用される場合、基礎モデルに基づいた現実世界の決定システムの新たな課題です。
さまざまな理由が暴露されているため、画像のペアが調整されるかどうかに関係なく、クリップヘッドのロジットスコアは大きいままです。
少数のショット体制を考えると、データ分野で対処することは困難です。
私たちは、2つの尤度の相対的な振幅に見合った真のクラスに対数尤度を移動することにより、微調整中に行われるときはいつでも誤った分類を罰する損失目標に組み込まれたペナルティを提案します。
それを\ textit {信頼性の不整合ペナルティ（CMP）}と呼びます。
12ドルのビジョンデータセットと5ドルのドメイン一般化データセットに関する広範な実験は、統計に対するメソッドのキャリブレーションパフォーマンスをサポートしています。
CMPは、ベンチマークされた迅速な学習方法を上回り、予想されるキャリブレーションエラー（ECE）の平均$ 6.01 $ \％、最低$ 4.01 $ \％、最大$ 9.72 $ \％だけであることを示します。
このペーパーの匿名化されたサンプルソースコードは、\ url {https://anonymous.4open.science/r/icml25-c5cb/readme.txt}にあります。

要約(オリジナル)

Confidence calibration is an emerging challenge in real-world decision systems based on foundations models when used for downstream vision classification tasks. Due to various reasons exposed, logit scores on the CLIP head remain large irrespective of whether the image-language pairs reconcile. It is difficult to address in data space, given the few-shot regime. We propose a penalty incorporated into loss objective that penalizes incorrect classifications whenever one is made during finetuning, by moving an amount of log-likelihood to the true class commensurate to the relative amplitudes of the two likelihoods. We refer to it as \textit{confidence misalignment penalty (CMP)}. Extensive experiments on $12$ vision datasets and $5$ domain generalization datasets supports the calibration performance of our method against stat-of-the-art. CMP outperforms the benchmarked prompt learning methods, demonstrating average improvement in Expected Calibration Error (ECE) by average $6.01$\%, $4.01$ \% at minimum and $9.72$\% at maximum. Anonymized sample source code for this paper can be found at: \url{https://anonymous.4open.science/r/icml25-C5CB/readme.txt}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google