Evaluating the Evaluators: Which UDA validation methods are most effective? Can they be improved?

要約

このホワイト ペーパーでは、8 つの UDA 検証方法を比較し、ランク付けします。
バリデーターはモデルの精度を推定するため、UDA トレーニング テスト パイプラインの重要なコンポーネントとなっています。
これらのバリデーターをランク付けして、最適なモデル チェックポイントとハイパーパラメーターを選択する目的で最も有用なものを示します。
私たちの知る限りでは、この大規模なベンチマーク調査は、UDA 分野で初めてのものです。
さらに、既存の文献で見つけることができたすべての既存のチェックポイントベースのバリデーターよりも優れた 3 つの新しいバリデーターを提案します。
コードは https://www.github.com/KevinMusgrave/powerful-benchmarker で入手できます。

要約(オリジナル)

This paper compares and ranks 8 UDA validation methods. Validators estimate model accuracy, which makes them an essential component of any UDA train-test pipeline. We rank these validators to indicate which of them are most useful for the purpose of selecting optimal model checkpoints and hyperparameters. To the best of our knowledge, this large-scale benchmark study is the first of its kind in the UDA field. In addition, we propose three new validators that outperform all the existing checkpoint-based validators that we were able to find in the existing literature. Code is available at https://www.github.com/KevinMusgrave/powerful-benchmarker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google