Source-Free Domain-Invariant Performance Prediction

要約

モデルのパフォーマンスを正確に推定することは、特にソース ドメインとターゲット ドメインが異なるデータ分布に従っているシナリオでは、大きな課題となります。
既存のパフォーマンス予測手法のほとんどは、推定プロセスにおいてソース データに大きく依存しており、トレーニング済みモデルのみがアクセスできるより現実的な設定では適用性が制限されています。
ソース データを必要としないいくつかの方法では、パフォーマンスが大幅に劣ります。
この研究では、ソース データがない場合の校正に生成モデルを使用する、不確実性に基づく推定を中心としたソースフリーのアプローチを提案します。
私たちは、教師なし校正のアプローチと温度スケーリングの間の関係を確立します。
次に、勾配ベースの戦略を採用して、校正された予測の正確さを評価します。
ベンチマーク物体認識データセットに関する私たちの実験では、ソース サンプルの入手可能性が限られているため、既存のソースベースの手法では不十分であることが明らかになりました。
さらに、私たちのアプローチは、現在の最先端のソースフリーおよびソースベースの方法を大幅に上回り、ドメイン不変のパフォーマンス推定におけるその有効性を裏付けています。

要約(オリジナル)

Accurately estimating model performance poses a significant challenge, particularly in scenarios where the source and target domains follow different data distributions. Most existing performance prediction methods heavily rely on the source data in their estimation process, limiting their applicability in a more realistic setting where only the trained model is accessible. The few methods that do not require source data exhibit considerably inferior performance. In this work, we propose a source-free approach centred on uncertainty-based estimation, using a generative model for calibration in the absence of source data. We establish connections between our approach for unsupervised calibration and temperature scaling. We then employ a gradient-based strategy to evaluate the correctness of the calibrated predictions. Our experiments on benchmark object recognition datasets reveal that existing source-based methods fall short with limited source sample availability. Furthermore, our approach significantly outperforms the current state-of-the-art source-free and source-based methods, affirming its effectiveness in domain-invariant performance estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google