The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations

要約

最新の機械学習モデルは偽の相関に過度に依存する傾向があり、それが少数派グループのパフォーマンス低下につながる可能性があります。
この論文では、視覚および言語タスクにわたる 4 つの十分に確立されたベンチマークに関する包括的な実験を通じて、最悪のグループ精度に関する微調整されたモデルの驚くべき微妙な動作を特定します。
まず、一般的に使用されるミニバッチ アップサンプリングと損失アップ重み付けのクラス バランシング手法が、トレーニング エポックに伴う最悪グループ精度 (WGA) の低下を引き起こし、クラス バランシングを行わない場合と同等のパフォーマンスにつながる可能性があることを示します。
一部のシナリオでは、データを削除してクラスバランスの取れたサブセットを作成する方が効果的ですが、これがグループ構造に依存することを示し、両方の手法よりも優れたパフォーマンスを発揮できる混合方法を提案します。
次に、事前トレーニング済みモデルのスケーリングは一般に最悪のグループ精度に有益ですが、それは適切なクラス バランシングと組み合わせた場合に限られることを示します。
最後に、微調整特徴におけるスペクトルの不均衡がグループ格差の潜在的な原因であることを特定しました。つまり、少数派グループの共分散行列は、クラスで条件付けされると多数派グループよりも大きなスペクトル規範が生じます。
私たちの結果は、これまで知られていたよりも、現代の微調整されたモデルとグループの堅牢性との微妙な相互作用を示しています。
私たちのコードは https://github.com/tmlabonte/revisiting-finetuning で入手できます。

要約(オリジナル)

Modern machine learning models are prone to over-reliance on spurious correlations, which can often lead to poor performance on minority groups. In this paper, we identify surprising and nuanced behavior of finetuned models on worst-group accuracy via comprehensive experiments on four well-established benchmarks across vision and language tasks. We first show that the commonly used class-balancing techniques of mini-batch upsampling and loss upweighting can induce a decrease in worst-group accuracy (WGA) with training epochs, leading to performance no better than without class-balancing. While in some scenarios, removing data to create a class-balanced subset is more effective, we show this depends on group structure and propose a mixture method which can outperform both techniques. Next, we show that scaling pretrained models is generally beneficial for worst-group accuracy, but only in conjunction with appropriate class-balancing. Finally, we identify spectral imbalance in finetuning features as a potential source of group disparities — minority group covariance matrices incur a larger spectral norm than majority groups once conditioned on the classes. Our results show more nuanced interactions of modern finetuned models with group robustness than was previously known. Our code is available at https://github.com/tmlabonte/revisiting-finetuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google