Take One Gram of Neural Features, Get Enhanced Group Robustness

要約

経験的リスク最小化 (ERM) でトレーニングされた機械学習モデルの予測パフォーマンスは、分布が変化すると大幅に低下する可能性があります。
トレーニング データセットに誤った相関関係が存在すると、ERM でトレーニングされたモデルは、そのような相関関係を示さない少数グループで評価すると、大きな損失を示すようになります。
最悪のグループのロバスト性を改善する方法を開発するために、広範な試みが行われてきました。
ただし、各トレーニング入力のグループ情報、または少なくともハイパーパラメーターを調整するためのグループ ラベルを含む検証セットが必要です。
このホワイトペーパーでは、トレーニングまたは検証中にグループアノテーションを使用せずにグループの堅牢性を向上させるという課題に取り組みます。
この目的のために、「識別」モデルによって抽出された特徴のグラム行列に基づいてトレーニング データセットをグループに分割し、これらの疑似グループに基づいてロバストな最適化を適用することを提案します。
グループラベルが利用できない現実的な状況では、私たちの実験は、私たちのアプローチがERMよりもグループの堅牢性を向上させるだけでなく、最近のすべてのベースラインよりも優れていることを示しています

要約(オリジナル)

Predictive performance of machine learning models trained with empirical risk minimization (ERM) can degrade considerably under distribution shifts. The presence of spurious correlations in training datasets leads ERM-trained models to display high loss when evaluated on minority groups not presenting such correlations. Extensive attempts have been made to develop methods improving worst-group robustness. However, they require group information for each training input or at least, a validation set with group labels to tune their hyperparameters, which may be expensive to get or unknown a priori. In this paper, we address the challenge of improving group robustness without group annotation during training or validation. To this end, we propose to partition the training dataset into groups based on Gram matrices of features extracted by an “identification” model and to apply robust optimization based on these pseudo-groups. In the realistic context where no group labels are available, our experiments show that our approach not only improves group robustness over ERM but also outperforms all recent baselines

arxiv情報

提供元, 利用サービス

arxiv.jp, Google