Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks

要約

複数の手がかりがターゲットラベルを予測するようなデータ中のスプリアス相関は、しばしば、モデルが信頼できる手がかりを無視する一方で、学習しやすい誤った手がかりに依存するような、ショートカット学習現象につながる。本研究では、拡散確率モデル（Diffusion Probabilistic Models：DPM）を用いた合成的な反事実の生成を利用したアンサンブル多様化の枠組みを提案する。我々は、DPMが、複数の視覚的手がかりが訓練データにおいて大きく相関している場合でも、独立して表現できる固有の能力を持つことを発見した。この特性を利用してモデルの多様化を促し、いくつかの多様化目的に対するアプローチの有効性を実証的に示す。拡散誘導型多様化により、モデルが近道の手がかりから注意をそらすことができ、追加的なデータ収集を必要とする従来の手法に匹敵するアンサンブル多様化性能を達成できることを示す。

要約(オリジナル)

Spurious correlations in the data, where multiple cues are predictive of the target labels, often lead to shortcut learning phenomena, where a model may rely on erroneous, easy-to-learn, cues while ignoring reliable ones. In this work, we propose an ensemble diversification framework exploiting the generation of synthetic counterfactuals using Diffusion Probabilistic Models (DPMs). We discover that DPMs have the inherent capability to represent multiple visual cues independently, even when they are largely correlated in the training data. We leverage this characteristic to encourage model diversity and empirically show the efficacy of the approach with respect to several diversification objectives. We show that diffusion-guided diversification can lead models to avert attention from shortcut cues, achieving ensemble diversity performance comparable to previous methods requiring additional data collection.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL