Generative Bias for Robust Visual Question Answering

要約

Visual Question Answering (VQA) のタスクは、データセット内のバイアスを利用して最終的な予測を行う VQA モデルの問題に悩まされていることが知られています。
堅牢なターゲット モデルをトレーニングするために、追加のモデルが意図的にバイアスされるようにトレーニングされる、さまざまな以前のアンサンブル ベースのバイアス緩和方法が提案されています。
ただし、これらのメソッドは、トレーニング データのラベル統計または単一のモーダル ブランチから単純にモデルのバイアスを計算します。
この作業では、ターゲット VQA モデルが受けるバイアスをよりよく学習するために、GenB と呼ばれるターゲット モデルからバイアス モデルを直接トレーニングする生成的手法を提案します。
特に、GenB は生成ネットワークを使用して、敵対的目的と知識蒸留の組み合わせを通じてターゲット モデルのバイアスを学習します。
次に、バイアス モデルとして GenB を使用してターゲット モデルのバイアスを取り除き、広範な実験を通じて、VQA-CP2、VQA-CP1、GQA-OOD、および VQA-CE を含むさまざまな VQA バイアス データセットに対するこの方法の効果を示し、状態を示します。
VQA-CP2 の LXMERT アーキテクチャによる最先端の結果。

要約(オリジナル)

The task of Visual Question Answering (VQA) is known to be plagued by the issue of VQA models exploiting biases within the dataset to make its final prediction. Various previous ensemble based debiasing methods have been proposed where an additional model is purposefully trained to be biased in order to train a robust target model. However, these methods compute the bias for a model simply from the label statistics of the training data or from single modal branches. In this work, in order to better learn the bias a target VQA model suffers from, we propose a generative method to train the bias model directly from the target model, called GenB. In particular, GenB employs a generative network to learn the bias in the target model through a combination of the adversarial objective and knowledge distillation. We then debias our target model with GenB as a bias model, and show through extensive experiments the effects of our method on various VQA bias datasets including VQA-CP2, VQA-CP1, GQA-OOD, and VQA-CE, and show state-of-the-art results with the LXMERT architecture on VQA-CP2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google