Unsupervised Accuracy Estimation of Deep Visual Models using Domain-Adaptive Adversarial Perturbation without Source Samples

要約

ディープ ビジュアル モデルをデプロイすると、ソースとターゲットのディストリビューション間の不一致によりパフォーマンスが低下する可能性があります。
いくつかのアプローチでは、ラベル付きソース データを活用してターゲット ドメインの精度を推定していますが、データの機密性やサービス提供デバイスのリソース制限により、ラベル付きソース データにアクセスすることは非常に困難であることがよくあります。
私たちの研究は、ソース データにアクセスせずに、ラベルのないターゲット データのモデルの精度を推定するための新しいフレームワークを提案しています。
私たちは、精度推定に擬似ラベルを使用する実現可能性を調査し、このアイデアを発展させて、ソースフリーのドメイン適応アルゴリズムにおける最近の進歩を採用します。
私たちのアプローチは、ソース仮説と、ソース仮説から適応されたターゲット擬似ラベル関数の間の不一致率を測定します。
ターゲット モデルの入力に適応的な敵対的摂動を採用することで、理想的な共同仮説のリスクが高いために発生する可能性のある誤った擬似ラベルの影響を軽減します。
私たちが提案するソースフリー フレームワークは、困難な分布シフト シナリオに効果的に対処し、トレーニングにソース データとラベルを必要とする既存の方法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Deploying deep visual models can lead to performance drops due to the discrepancies between source and target distributions. Several approaches leverage labeled source data to estimate target domain accuracy, but accessing labeled source data is often prohibitively difficult due to data confidentiality or resource limitations on serving devices. Our work proposes a new framework to estimate model accuracy on unlabeled target data without access to source data. We investigate the feasibility of using pseudo-labels for accuracy estimation and evolve this idea into adopting recent advances in source-free domain adaptation algorithms. Our approach measures the disagreement rate between the source hypothesis and the target pseudo-labeling function, adapted from the source hypothesis. We mitigate the impact of erroneous pseudo-labels that may arise due to a high ideal joint hypothesis risk by employing adaptive adversarial perturbation on the input of the target model. Our proposed source-free framework effectively addresses the challenging distribution shift scenarios and outperforms existing methods requiring source data and labels for training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google