RLSbench: Domain Adaptation Under Relaxed Label Shift

要約

ラベルシフト下でのドメイン適応のための原理的な手法が出現しているにもかかわらず、クラスの条件分布のシフトに対する感度は、不安定なほど未解明である。一方、一般的なディープドメイン適応のヒューリスティックは、ラベル比率のシフトに直面したときに失敗する傾向がある。いくつかの論文では、ラベル比率のシフトに対応するためにこれらのヒューリスティックを修正していますが、評価基準、データセット、ベースラインに一貫性がないため、現在のベストプラクティスを評価することは困難です。本論文では、RLSbenchを紹介する。RLSbenchは、視覚、表形式、言語モダリティにまたがる$>$500の分布シフトペアで構成され、ラベルの割合が変化する、リラックスしたラベルシフトのための大規模ベンチマークである。既存のベンチマークは、主にクラス条件$p(x|y)$のシフトに着目しているが、本ベンチマークはラベルのマージナルシフトにも着目している。まず、13の一般的なドメイン適応法を評価し、ラベル割合の変化に対する失敗が従来よりも広範囲に及ぶことを実証する。(i)各エポックでデータを擬似的にバランスさせ、(ii)ターゲットラベル分布の推定値を用いて最終的な分類器を調整する、という2ステップのメタアルゴリズムを開発する。このメタアルゴリズムは、ラベルの割合が大きく変化する場合、既存のドメイン適応ヒューリスティックを2-10%の精度ポイントで改善する一方、ラベルの割合が変化しない場合は最小限の効果（$<$0.5% ）しか与えませんでした。これらの知見とRLSbenchの利用により、研究者が提案された手法をラベルシフトの緩やかな設定で厳密に評価することを奨励することを期待しています。コードは https://github.com/acmi-lab/RLSbench で公開されています。

要約(オリジナル)

Despite the emergence of principled methods for domain adaptation under label shift, their sensitivity to shifts in class conditional distributions is precariously under explored. Meanwhile, popular deep domain adaptation heuristics tend to falter when faced with label proportions shifts. While several papers modify these heuristics in attempts to handle label proportions shifts, inconsistencies in evaluation standards, datasets, and baselines make it difficult to gauge the current best practices. In this paper, we introduce RLSbench, a large-scale benchmark for relaxed label shift, consisting of $>$500 distribution shift pairs spanning vision, tabular, and language modalities, with varying label proportions. Unlike existing benchmarks, which primarily focus on shifts in class-conditional $p(x|y)$, our benchmark also focuses on label marginal shifts. First, we assess 13 popular domain adaptation methods, demonstrating more widespread failures under label proportion shifts than were previously known. Next, we develop an effective two-step meta-algorithm that is compatible with most domain adaptation heuristics: (i) pseudo-balance the data at each epoch; and (ii) adjust the final classifier with target label distribution estimate. The meta-algorithm improves existing domain adaptation heuristics under large label proportion shifts, often by 2–10\% accuracy points, while conferring minimal effect ($<$0.5\%) when label proportions do not shift. We hope that these findings and the availability of RLSbench will encourage researchers to rigorously evaluate proposed methods in relaxed label shift settings. Code is publicly available at https://github.com/acmi-lab/RLSbench.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL