Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles

要約

複数のキューがターゲット ラベルを予測するデータ内の偽の相関は、多くの場合、モデルが信頼できるキューを無視しながら、誤った学習しやすいキューに依存するショートカット学習として知られる現象を引き起こします。
この研究では、この形式のバイアスを軽減するために拡散確率モデル (DPM) を活用したアンサンブル多様化フレームワーク DiffDiv を提案します。
相関関係のある入力特徴を表示するサンプルでトレーニングした場合でも、特定のトレーニング間隔で DPM が新しい特徴の組み合わせを持つ画像を生成できることを示します。
私たちはこの重要な特性を利用して合成反事実を生成し、アンサンブルの不一致を通じてモデルの多様性を高めます。
追加の教師付き信号を必要とせず、DPM に基づく多様化でショートカット キューへの依存を取り除くのに十分であることを示します。
さらに、いくつかの多様化目標に対するその有効性を経験的に定量化し、最後に、補助的なデータ収集に依存した以前の研究と同等の一般化と多様化が改善されたことを示します。

要約(オリジナル)

Spurious correlations in the data, where multiple cues are predictive of the target labels, often lead to a phenomenon known as shortcut learning, where a model relies on erroneous, easy-to-learn cues while ignoring reliable ones. In this work, we propose DiffDiv an ensemble diversification framework exploiting Diffusion Probabilistic Models (DPMs) to mitigate this form of bias. We show that at particular training intervals, DPMs can generate images with novel feature combinations, even when trained on samples displaying correlated input features. We leverage this crucial property to generate synthetic counterfactuals to increase model diversity via ensemble disagreement. We show that DPM-guided diversification is sufficient to remove dependence on shortcut cues, without a need for additional supervised signals. We further empirically quantify its efficacy on several diversification objectives, and finally show improved generalization and diversification on par with prior work that relies on auxiliary data collection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google