Group-robust Sample Reweighting for Subpopulation Shifts via Influence Functions

要約

機械学習モデルは、データ分布の亜集団（別名、グループ）の間で不均一なパフォーマンスをしばしば持っています。
これは、展開中にグループの割合がシフトするときにモデルが一般化するという重要な課題をもたらします。
このようなシフトの堅牢性を向上させるために、既存のアプローチは、グループ標識データを使用してモデルを訓練したり、ハイパーパラメーターチューニングを実行して、グループに対する最悪のケース損失を最小限に抑える戦略を開発しました。
ただし、顕著な改善を得るには、多くの場合、無言の量の高品質ラベルが必要です。
ラベルのコストを考えると、グループラベルの効率を高めるために異なるパラダイムを採用することを提案します。グループ標識データを他のグループに照らしないデータの重みを最適化するターゲットセットとして利用します。
グループロボストサンプルの再重み付け（GSR）を導入します。これは、グループに覆われていないデータから最初に表現を学習する2段階のアプローチを導入し、その後、影響関数を使用して再廃棄されたデータに最後の層を繰り返し再調整することにより、モデルをいじくり回します。
当社のGSRは理論的に健全で、実質的に軽量であり、亜集団シフトの堅牢性を改善するのに効果的です。
特に、GSRは、同じ量またはさらに多くのグループラベルを必要とする以前の最先端のアプローチよりも優れています。

要約(オリジナル)

Machine learning models often have uneven performance among subpopulations (a.k.a., groups) in the data distributions. This poses a significant challenge for the models to generalize when the proportions of the groups shift during deployment. To improve robustness to such shifts, existing approaches have developed strategies that train models or perform hyperparameter tuning using the group-labeled data to minimize the worst-case loss over groups. However, a non-trivial amount of high-quality labels is often required to obtain noticeable improvements. Given the costliness of the labels, we propose to adopt a different paradigm to enhance group label efficiency: utilizing the group-labeled data as a target set to optimize the weights of other group-unlabeled data. We introduce Group-robust Sample Reweighting (GSR), a two-stage approach that first learns the representations from group-unlabeled data, and then tinkers the model by iteratively retraining its last layer on the reweighted data using influence functions. Our GSR is theoretically sound, practically lightweight, and effective in improving the robustness to subpopulation shifts. In particular, GSR outperforms the previous state-of-the-art approaches that require the same amount or even more group labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google