Ranking & Reweighting Improves Group Distributional Robustness

要約

【タイトル】ランキングと再加重によるグループ分布の強靭性の向上

【要約】
– ERMを用いた標準的なトレーニングは、偏った特徴量が多いため、平均的な高い精度を達成するモデルが得られる一方で、表象されないグループに対しては低い精度を示すことがある。
– このグループ強健性の問題に対する主なアプローチは、トレーニングデータで最悪のグループ誤差を最小化することで、テストデータでも汎化性能を発揮することを期待することである。
– しかしながら、これは、テストデータに以前に見たことがないグループが含まれる場合にはしばしば最適ではない。
– 情報検索およびランキング学習の文献からのアイデアに着想を得て、本稿では、モデルの品質を向上させるための指標として、Discounted Cumulative Gain (DCG) を提案する。
– ランキングベースの指標であるDCGは、最も性能の悪いグループだけでなく、複数の性能の悪いグループを重視する。
– 次に、DRU（Discounted Rank Upweighting）と呼ばれるランキングベースのトレーニング方法を提案する。
– DRUは、トレーニングデータ内の性能の悪いグループのランク付けされたリストを差別的に再加重して、テストデータで強力なOOD（out-of-distribution）性能を示すモデルを学習する。
– いくつかの合成および実世界データセットにおける結果は、グループランキングベース（ソフトミニマックスに類似）アプローチが、グループ分布のシフトに強いモデルの選択および学習に優れた汎化能力を持つことを示している。

要約(オリジナル)

Recent work has shown that standard training via empirical risk minimization (ERM) can produce models that achieve high accuracy on average but low accuracy on underrepresented groups due to the prevalence of spurious features. A predominant approach to tackle this group robustness problem minimizes the worst group error (akin to a minimax strategy) on the training data, hoping it will generalize well on the testing data. However, this is often suboptimal, especially when the out-of-distribution (OOD) test data contains previously unseen groups. Inspired by ideas from the information retrieval and learning-to-rank literature, this paper first proposes to use Discounted Cumulative Gain (DCG) as a metric of model quality for facilitating better hyperparameter tuning and model selection. Being a ranking-based metric, DCG weights multiple poorly-performing groups (instead of considering just the group with the worst performance). As a natural next step, we build on our results to propose a ranking-based training method called Discounted Rank Upweighting (DRU), which differentially reweights a ranked list of poorly-performing groups in the training data to learn models that exhibit strong OOD performance on the test data. Results on several synthetic and real-world datasets highlight the superior generalization ability of our group-ranking-based (akin to soft-minimax) approach in selecting and learning models that are robust to group distributional shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI