Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks

要約

複数のキューがターゲットラベルを予測するデータ内の偽の相関は、多くの場合、モデルが信頼できるキューを無視しながら、誤った学習しやすいキューに依存するショートカット学習現象を引き起こします。
この研究では、拡散確率モデル (DPM) を使用した合成反事実の生成を活用したアンサンブル多様化フレームワークを提案します。
私たちは、DPM には、トレーニング データ内で複数の視覚的手がかりが大きく相関している場合でも、複数の視覚的手がかりを独立して表現する固有の機能があることがわかりました。
私たちはこの特性を利用してモデルの多様性を促進し、いくつかの多様化目標に対するアプローチの有効性を経験的に示します。
我々は、拡散に導かれた多様化により、モデルが近道的な手がかりから注意をそらすようになり、追加のデータ収集を必要とする以前の方法に匹敵するアンサンブル多様性パフォーマンスを達成できることを示します。

要約(オリジナル)

Spurious correlations in the data, where multiple cues are predictive of the target labels, often lead to shortcut learning phenomena, where a model may rely on erroneous, easy-to-learn, cues while ignoring reliable ones. In this work, we propose an ensemble diversification framework exploiting the generation of synthetic counterfactuals using Diffusion Probabilistic Models (DPMs). We discover that DPMs have the inherent capability to represent multiple visual cues independently, even when they are largely correlated in the training data. We leverage this characteristic to encourage model diversity and empirically show the efficacy of the approach with respect to several diversification objectives. We show that diffusion-guided diversification can lead models to avert attention from shortcut cues, achieving ensemble diversity performance comparable to previous methods requiring additional data collection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google