Three New Validators and a Large-Scale Benchmark Ranking for Unsupervised Domain Adaptation

要約

ハイパーパラメータの変更は、モデルの精度に劇的な影響を与える可能性があります。
したがって、ハイパーパラメータの調整は、機械学習モデルの最適化において重要な役割を果たします。
ハイパーパラメータ調整プロセスの不可欠な部分は、「バリデータ」を使用して行われるモデル チェックポイントの評価です。
監視された設定では、これらのバリデーターは、ラベルを持つ検証セットの精度を計算することによってチェックポイントを評価します。
対照的に、教師なし設定では、検証セットにそのようなラベルはありません。
ラベルがないと精度を計算できないため、代わりにバリデーターが精度を推定する必要があります。
しかし、精度を推定するための最良のアプローチは何ですか?
このホワイト ペーパーでは、教師なしドメイン適応 (UDA) のコンテキストでこの問題を検討します。
具体的には、3 つの新しいバリデーターを提案し、1,000,000 チェックポイントの大規模なデータセットで、他の 5 つの既存のバリデーターと比較してランク付けします。
広範な実験結果は、提案されたバリデーターの 2 つがさまざまな設定で最先端のパフォーマンスを達成することを示しています。
最後に、多くの場合、最新技術は単純なベースライン手法によって得られることがわかりました。
私たちの知る限り、これは UDA バリデーターに関するこれまでで最大の実証研究です。
コードは https://www.github.com/KevinMusgrave/powerful-benchmarker で入手できます。

要約(オリジナル)

Changes to hyperparameters can have a dramatic effect on model accuracy. Thus, the tuning of hyperparameters plays an important role in optimizing machine-learning models. An integral part of the hyperparameter-tuning process is the evaluation of model checkpoints, which is done through the use of ‘validators’. In a supervised setting, these validators evaluate checkpoints by computing accuracy on a validation set that has labels. In contrast, in an unsupervised setting, the validation set has no such labels. Without any labels, it is impossible to compute accuracy, so validators must estimate accuracy instead. But what is the best approach to estimating accuracy? In this paper, we consider this question in the context of unsupervised domain adaptation (UDA). Specifically, we propose three new validators, and we compare and rank them against five other existing validators, on a large dataset of 1,000,000 checkpoints. Extensive experimental results show that two of our proposed validators achieve state-of-the-art performance in various settings. Finally, we find that in many cases, the state-of-the-art is obtained by a simple baseline method. To the best of our knowledge, this is the largest empirical study of UDA validators to date. Code is available at https://www.github.com/KevinMusgrave/powerful-benchmarker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google