Debiasing Multimodal Models via Causal Information Minimization

要約

因果的介入法や推論法など、マルチモーダル モデルに対する既存のバイアス除去法のほとんどは、トレーニングの初期段階からの浅い特徴や、VQA などのマルチモーダル タスクの単峰性特徴などのバイアスを表現するために近似ヒューリスティックを利用しますが、これらは正確ではない可能性があります。
この論文では、マルチモーダルデータの因果グラフ内の交絡因子から生じるバイアスを研究し、因果関係に動機付けられた情報の最小化を利用して交絡因子の表現を学習する新しいアプローチを検討します。
堅牢な予測機能には、モデルを分布外データに一般化するのに役立つさまざまな情報が含まれています。
したがって、事前トレーニング済みの偏りのあるモデルから取得される特徴の情報内容を最小限に抑えると、基礎となるデータ分布を捕捉する最も単純な予測特徴を学習するのに役立ちます。
私たちはこれらの特徴を交絡因子表現として扱い、モデルからバイアスを取り除くために因果理論に動機付けられた方法を通じてそれらを使用します。
学習された交絡因子表現は実際にデータセットのバイアスを捉えており、提案されたバイアス除去手法は、分布内のパフォーマンスを犠牲にすることなく、複数のマルチモーダル データセットに対する分布外 (OOD) のパフォーマンスを向上させることがわかりました。
さらに、モデルの予測におけるスプリアス特徴の十分性を定量化するための新しい指標を導入し、提案した方法の有効性をさらに実証します。
私たちのコードはhttps://github.com/Vaidehi99/CausalInfoMinから入手できます。

要約(オリジナル)

Most existing debiasing methods for multimodal models, including causal intervention and inference methods, utilize approximate heuristics to represent the biases, such as shallow features from early stages of training or unimodal features for multimodal tasks like VQA, etc., which may not be accurate. In this paper, we study bias arising from confounders in a causal graph for multimodal data and examine a novel approach that leverages causally-motivated information minimization to learn the confounder representations. Robust predictive features contain diverse information that helps a model generalize to out-of-distribution data. Hence, minimizing the information content of features obtained from a pretrained biased model helps learn the simplest predictive features that capture the underlying data distribution. We treat these features as confounder representations and use them via methods motivated by causal theory to remove bias from models. We find that the learned confounder representations indeed capture dataset biases, and the proposed debiasing methods improve out-of-distribution (OOD) performance on multiple multimodal datasets without sacrificing in-distribution performance. Additionally, we introduce a novel metric to quantify the sufficiency of spurious features in models’ predictions that further demonstrates the effectiveness of our proposed methods. Our code is available at: https://github.com/Vaidehi99/CausalInfoMin

arxiv情報

提供元, 利用サービス

arxiv.jp, Google