Beyond Top-Class Agreement: Using Divergences to Forecast Performance under Distribution Shift

要約

モデルが「実際の」データに一般化されるかどうかを知ることは、安全に展開するために重要です。
この目的を達成するために、完全な予測分布、特にヘリンジャー距離、ジェンセン-シャノンおよびカルバック-ライブラーの発散に基づく不一致を考慮したモデルの不一致概念を研究します。
発散ベースのスコアは、上位 1 のスコアと比較して、分布外データのテスト エラー推定値と検出率が優れていることがわかりました。
実験には標準ビジョンと基礎モデルが含まれます。

要約(オリジナル)

Knowing if a model will generalize to data ‘in the wild’ is crucial for safe deployment. To this end, we study model disagreement notions that consider the full predictive distribution – specifically disagreement based on Hellinger distance, Jensen-Shannon and Kullback-Leibler divergence. We find that divergence-based scores provide better test error estimates and detection rates on out-of-distribution data compared to their top-1 counterparts. Experiments involve standard vision and foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google