RLSbench: Domain Adaptation Under Relaxed Label Shift

要約

ラベルシフト下でのドメイン適応のための原理的な方法が出現しているにもかかわらず、クラスの条件分布のわずかなシフトに対するこれらの方法の感度は、まだ不安定に調査中である。一方、一般的な深い領域適応のヒューリスティックは、ラベルの割合のシフトに直面したときに挫折する傾向がある。いくつかの論文では、これらのヒューリスティックをラベル比率のシフトに適応させることを試みているが、評価基準、データセット、ベースラインに一貫性がないため、技術の現状を評価することは困難である。本論文では、大規模な緩和型ラベルシフトベンチマークであるRLSbenchを紹介する。これは、視覚、表形式、言語様式の14のデータセットを用いて、ラベルの割合を変えて構成された500以上の分布シフトペアから構成されるものである。まず、一般的な13の領域適応手法を評価し、ラベル比率シフトの下では、従来知られていたよりも広範囲に渡って失敗することを示す。次に、ほとんどの深い領域適応のヒューリスティックと互換性のある、効果的な2段階のメタアルゴリズムを開発する：（i）各エポックでデータを疑似バランスさせる、（ii）最終分類器をターゲットラベル分布（の推定値）で調整する。このメタアルゴリズムは、極端なラベル割合のシフトの下では、既存のドメイン適応ヒューリスティックをしばしば2-10%の精度ポイントで改善し、ラベル割合がシフトしない場合にはほとんど（すなわち、<0.5?%）影響を及ぼさないことがわかった。これらの知見とRLSbenchの利用により、研究者が提案手法を緩和されたラベルシフト設定で厳密に評価することを期待します。コードはhttps://github.com/acmi-lab/RLSbench で公開されています。

要約(オリジナル)

Despite the emergence of principled methods for domain adaptation under label shift, the sensitivity of these methods for minor shifts in the class conditional distributions remains precariously under explored. Meanwhile, popular deep domain adaptation heuristics tend to falter when faced with shifts in label proportions. While several papers attempt to adapt these heuristics to accommodate shifts in label proportions, inconsistencies in evaluation criteria, datasets, and baselines, make it hard to assess the state of the art. In this paper, we introduce RLSbench, a large-scale relaxed label shift benchmark, consisting of >500 distribution shift pairs that draw on 14 datasets across vision, tabular, and language modalities and compose them with varying label proportions. First, we evaluate 13 popular domain adaptation methods, demonstrating more widespread failures under label proportion shifts than were previously known. Next, we develop an effective two-step meta-algorithm that is compatible with most deep domain adaptation heuristics: (i) pseudo-balance the data at each epoch; and (ii) adjust the final classifier with (an estimate of) target label distribution. The meta-algorithm improves existing domain adaptation heuristics often by 2–10\% accuracy points under extreme label proportion shifts and has little (i.e., <0.5\%) effect when label proportions do not shift. We hope that these findings and the availability of RLSbench will encourage researchers to rigorously evaluate proposed methods in relaxed label shift settings. Code is publicly available at https://github.com/acmi-lab/RLSbench.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL