Is Last Layer Re-Training Truly Sufficient for Robustness to Spurious Correlations?

要約

経験的リスク最小化 (ERM) でトレーニングされたモデルは、偽の特徴に依存することを学習することが知られています。つまり、モデルの予測は、クラス ラベルと強く相関しているものの、因果関係に欠ける望ましくない補助特徴に基づいています。
この動作は、スプリアス特徴が欠落している相関クラスのサンプルのグループ、またはスプリアス特徴は存在する反対クラスのサンプルのグループで特に精度を低下させます。
最近提案された深部特徴再重み付け (DFR) 手法により、これらの最悪のグループの精度が向上します。
ERM Mod はコアの特徴を十分に学習できるという主な議論に基づいて、DFR は、グループバランスの取れた小さなデータセットを使用して分類モデルの最後の層を再トレーニングするだけで済みます。
この研究では、医療分野の現実的なデータに対する DFR の適用可能性を検証します。
さらに、最終層の再トレーニングの有効性の背後にある理由を調査し、DFR には最悪のグループの精度を向上させる可能性があるにもかかわらず、依然として偽相関の影響を受けやすいことを示します。

要約(オリジナル)

Models trained with empirical risk minimization (ERM) are known to learn to rely on spurious features, i.e., their prediction is based on undesired auxiliary features which are strongly correlated with class labels but lack causal reasoning. This behavior particularly degrades accuracy in groups of samples of the correlated class that are missing the spurious feature or samples of the opposite class but with the spurious feature present. The recently proposed Deep Feature Reweighting (DFR) method improves accuracy of these worst groups. Based on the main argument that ERM mods can learn core features sufficiently well, DFR only needs to retrain the last layer of the classification model with a small group-balanced data set. In this work, we examine the applicability of DFR to realistic data in the medical domain. Furthermore, we investigate the reasoning behind the effectiveness of last-layer retraining and show that even though DFR has the potential to improve the accuracy of the worst group, it remains susceptible to spurious correlations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google