Towards Last-layer Retraining for Group Robustness with Fewer Annotations

要約

ニューラル ネットワークの経験的リスク最小化 (ERM) は、偽の相関に過度に依存し、少数派の一般化が不十分になる傾向があります。
最近の深層特徴量再重み付け (DFR) 技術は、単純な最終層の再トレーニングによって最先端のグループ堅牢性を実現しますが、グループバランスのとれた再重み付けデータセットを構築するには、保持されたグループおよびクラスのアノテーションが必要です。
この研究では、この非現実的な要件を検討し、グループ アノテーション (モデル選択以外) がなく、少数のクラス アノテーションのみでも最終層の再トレーニングが驚くほど効果的であることがわかりました。
まず、再重み付けデータセットに最悪グループのデータがわずかな割合しか含まれていない場合でも、最終層の再トレーニングにより最悪グループの精度が大幅に向上することを示します。
これは、最後の層を再トレーニングするためにトレーニング データのサブセットを保持することで、データやアノテーションを追加せずにデータセット全体で ERM よりも大幅にパフォーマンスが向上する「フリー ランチ」を意味します。
グループの堅牢性をさらに向上させるために、選択的最終層微調整 (SELF) と呼ばれる軽量な方法を導入します。これは、誤分類または不一致を使用して再重み付けデータセットを構築します。
私たちの経験的および理論的結果は、モデルの不一致が最悪のグループデータをアップサンプリングし、グループ注釈がなく、ホールドアウトクラスの 3% 未満で、視覚および言語タスクにわたる 4 つの確立されたベンチマークで SELF が DFR とほぼ一致することを可能にする最初の証拠を示しています。
注釈。
私たちのコードは https://github.com/tmlabonte/last-layer-retraining で入手できます。

要約(オリジナル)

Empirical risk minimization (ERM) of neural networks is prone to over-reliance on spurious correlations and poor generalization on minority groups. The recent deep feature reweighting (DFR) technique achieves state-of-the-art group robustness via simple last-layer retraining, but it requires held-out group and class annotations to construct a group-balanced reweighting dataset. In this work, we examine this impractical requirement and find that last-layer retraining can be surprisingly effective with no group annotations (other than for model selection) and only a handful of class annotations. We first show that last-layer retraining can greatly improve worst-group accuracy even when the reweighting dataset has only a small proportion of worst-group data. This implies a ‘free lunch’ where holding out a subset of training data to retrain the last layer can substantially outperform ERM on the entire dataset with no additional data or annotations. To further improve group robustness, we introduce a lightweight method called selective last-layer finetuning (SELF), which constructs the reweighting dataset using misclassifications or disagreements. Our empirical and theoretical results present the first evidence that model disagreement upsamples worst-group data, enabling SELF to nearly match DFR on four well-established benchmarks across vision and language tasks with no group annotations and less than 3% of the held-out class annotations. Our code is available at https://github.com/tmlabonte/last-layer-retraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google