SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation On Diverse Modalities

要約

監視されていないドメイン適応（DA）は、ラベル付きのソースドメインでトレーニングされたモデルを適応させることで構成され、データ分布シフトを備えたラベルのないターゲットドメインでうまく機能します。
文献では多くの方法が提案されていますが、特に監視されていない設定でハイパーパラメーターを選択する際の方法論的な困難により、公正かつ現実的な評価が未解決の問題のままです。
Skada-Benchを使用すると、文献で主に調査されているコンピュータービジョンタスクを超えて、多様なモダリティに関するDAメソッドを評価するフレームワークを提案します。
リウェアライティング、マッピング、サブスペースアライメントなど、既存の浅いアルゴリズムの完全かつ公正な評価を提示します。
現実的なハイパーパラメーターの選択は、ネストされた交差検証とさまざまな監視されていないモデル選択スコアを使用して、画像、テキスト、生物医学、表形式データなどの多様なモダリティ全体で制御されたシフトと現実世界のデータセットを備えたシミュレーションデータセットの両方で実行されます。
当社のベンチマークは、現実的な検証の重要性を強調し、モデル選択アプローチの選択と影響に関する重要な洞察を得て、実際のアプリケーションの実用的なガイダンスを提供します。
Skada-Benchはオープンソースで再現可能であり、再評価する競合他社を必要とせずに、新しいDAメソッド、データセット、およびモデル選択基準で簡単に拡張できます。
Skada-Benchは、githubでhttps://github.com/scikit-adaptation/skada-benchで入手できます。

要約(オリジナル)

Unsupervised Domain Adaptation (DA) consists of adapting a model trained on a labeled source domain to perform well on an unlabeled target domain with some data distribution shift. While many methods have been proposed in the literature, fair and realistic evaluation remains an open question, particularly due to methodological difficulties in selecting hyperparameters in the unsupervised setting. With SKADA-bench, we propose a framework to evaluate DA methods on diverse modalities, beyond computer vision task that have been largely explored in the literature. We present a complete and fair evaluation of existing shallow algorithms, including reweighting, mapping, and subspace alignment. Realistic hyperparameter selection is performed with nested cross-validation and various unsupervised model selection scores, on both simulated datasets with controlled shifts and real-world datasets across diverse modalities, such as images, text, biomedical, and tabular data. Our benchmark highlights the importance of realistic validation and provides practical guidance for real-life applications, with key insights into the choice and impact of model selection approaches. SKADA-bench is open-source, reproducible, and can be easily extended with novel DA methods, datasets, and model selection criteria without requiring re-evaluating competitors. SKADA-bench is available on Github at https://github.com/scikit-adaptation/skada-bench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google