Language Prior Is Not the Only Shortcut: A Benchmark for Shortcut Learning in VQA

要約

Visual Question Answering (VQA) モデルは、意図したソリューションではなく、データセットのバイアスによって形成された近道のソリューションを学習する傾向があります。
ショートカット学習を超えた VQA モデルの推論能力を評価するために、VQA-CP v2 データセットでは、特定の質問タイプのトレーニング セットとテスト セットの間の分布シフトが導入されています。
このように、モデルはトレーニング セットのショートカット (質問の種類から回答まで) を使用して、テスト セットで適切に実行できません。
ただし、VQA-CP v2 は 1 種類のショートカットしか考慮していないため、モデルがこのショートカットに固有のソリューションではなく、意図したソリューションに依存していることを保証することはできません。
この制限を克服するために、複数の OOD テスト セットで異なる分布シフトを構築することにより、さまざまな種類のショートカットを考慮する新しいデータセットを提案します。
さらに、VQA-CP v2 を使用する上で問題となる 3 つの慣行 (例: OOD テスト セットを使用したモデルの選択) を克服し、OOD 評価手順をさらに標準化します。
私たちのベンチマークは、VQA でのショートカット学習のためのより厳密で包括的なテストベッドを提供します。
最近の方法をベンチマークしたところ、特定のショートカット用に特別に設計された方法は、さまざまな OOD テスト セットに同時に一般化できないことがわかりました。
また、さまざまなショートカットを体系的に研究し、いくつかの貴重な発見を提供します。これにより、VQA でのショートカット学習の調査が促進される可能性があります。

要約(オリジナル)

Visual Question Answering (VQA) models are prone to learn the shortcut solution formed by dataset biases rather than the intended solution. To evaluate the VQA models’ reasoning ability beyond shortcut learning, the VQA-CP v2 dataset introduces a distribution shift between the training and test set given a question type. In this way, the model cannot use the training set shortcut (from question type to answer) to perform well on the test set. However, VQA-CP v2 only considers one type of shortcut and thus still cannot guarantee that the model relies on the intended solution rather than a solution specific to this shortcut. To overcome this limitation, we propose a new dataset that considers varying types of shortcuts by constructing different distribution shifts in multiple OOD test sets. In addition, we overcome the three troubling practices in the use of VQA-CP v2, e.g., selecting models using OOD test sets, and further standardize OOD evaluation procedure. Our benchmark provides a more rigorous and comprehensive testbed for shortcut learning in VQA. We benchmark recent methods and find that methods specifically designed for particular shortcuts fail to simultaneously generalize to our varying OOD test sets. We also systematically study the varying shortcuts and provide several valuable findings, which may promote the exploration of shortcut learning in VQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google