Take One Gram of Neural Features, Get Enhanced Group Robustness

要約

経験的リスク最小化（ERM）を用いて学習した機械学習モデルの予測性能は、分布シフトの下で大幅に低下する可能性がある。訓練データセットに偽の相関が存在する場合、ERMで訓練されたモデルは、そのような相関を持たない少数グループに対して評価すると、高い損失を示すようになる。最悪群ロバスト性を向上させる手法の開発が盛んに行われている．しかし、これらの手法では、ハイパーパラメータを調整するために、各訓練入力のグループ情報、もしくは、少なくともグループラベルを持つ検証集合が必要であり、その入手にはコストがかかるか、または、先験的に未知である可能性がある。本論文では、訓練時や検証時にグループアノテーションを行うことなく、グループロバストネスを向上させるという課題に取り組む。この目的のため、我々は「識別」モデルによって抽出された特徴のグラム行列に基づいて訓練データセットをグループに分割し、これらの擬似グループに基づいてロバスト最適化を適用することを提案する。グループラベルが利用できない現実的な状況において、我々の実験では、我々のアプローチがERMよりもグループの頑健性を向上させるだけでなく、最近の全てのベースラインよりも優れた性能を示すことが示された

要約(オリジナル)

Predictive performance of machine learning models trained with empirical risk minimization (ERM) can degrade considerably under distribution shifts. The presence of spurious correlations in training datasets leads ERM-trained models to display high loss when evaluated on minority groups not presenting such correlations. Extensive attempts have been made to develop methods improving worst-group robustness. However, they require group information for each training input or at least, a validation set with group labels to tune their hyperparameters, which may be expensive to get or unknown a priori. In this paper, we address the challenge of improving group robustness without group annotation during training or validation. To this end, we propose to partition the training dataset into groups based on Gram matrices of features extracted by an “identification” model and to apply robust optimization based on these pseudo-groups. In the realistic context where no group labels are available, our experiments show that our approach not only improves group robustness over ERM but also outperforms all recent baselines

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL