Avoiding spurious correlations via logit correction

要約

経験的研究によると、経験的リスク最小化 (ERM) でトレーニングされた機械学習モデルは、多くの場合、クラス ラベルと誤って相関している可能性のある属性に依存していることが示唆されています。
このようなモデルは通常、そのような相関関係を欠くデータの推論中にパフォーマンスの低下につながります。
この作業では、潜在的なスプリアス相関がトレーニング データの大部分に存在する状況を明示的に検討します。
ERMモデルの出力を使用して偽の相関関係なしにサンプルを検出し、それらのサンプルをヒューリスティックにアップウエイトまたはアップサンプリングする既存のアプローチとは対照的に、ソフトマックスクロスエントロピー損失のシンプルで効果的な改善であるロジット補正（LC）損失を提案します
、サンプルロジットを修正します。
LC損失を最小化することは、グループバランスの取れた精度を最大化することと同等であるため、提案されたLCはスプリアス相関の悪影響を軽減できることを示しています。
私たちの広範な実験結果は、提案された LC 損失が複数の一般的なベンチマークで最先端のソリューションよりも大幅に優れていることを明らかにしています。
LC は、属性ラベルを利用するオラクルの方法とも競合します。
コードは https://github.com/shengliu66/LC で入手できます。

要約(オリジナル)

Empirical studies suggest that machine learning models trained with empirical risk minimization (ERM) often rely on attributes that may be spuriously correlated with the class labels. Such models typically lead to poor performance during inference for data lacking such correlations. In this work, we explicitly consider a situation where potential spurious correlations are present in the majority of training data. In contrast with existing approaches, which use the ERM model outputs to detect the samples without spurious correlations and either heuristically upweight or upsample those samples, we propose the logit correction (LC) loss, a simple yet effective improvement on the softmax cross-entropy loss, to correct the sample logit. We demonstrate that minimizing the LC loss is equivalent to maximizing the group-balanced accuracy, so the proposed LC could mitigate the negative impacts of spurious correlations. Our extensive experimental results further reveal that the proposed LC loss outperforms state-of-the-art solutions on multiple popular benchmarks by a large margin, an average 5.5\% absolute improvement, without access to spurious attribute labels. LC is also competitive with oracle methods that make use of the attribute labels. Code is available at https://github.com/shengliu66/LC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google