Joint Answering and Explanation for Visual Commonsense Reasoning

要約

Visual Commonsense Reasoning (VCR) は、Visual Question Answering (VQA) の挑戦的な拡張の 1 つと見なされ、より高レベルの視覚的理解を追求しようとします。
与えられた画像に対する質問応答と、答えを説明するための論理的推論という 2 つの不可欠なプロセスで構成されます。
長年にわたり、VCR に取り組むさまざまな方法により、ベンチマーク データセットのパフォーマンスが向上しました。
これらの方法は重要ですが、多くの場合、2 つのプロセスを別々の方法で処理するため、VCR が 2 つの無関係な VQA インスタンスに分解されます。
その結果、質問への回答と論理的推論の間の極めて重要な関係が中断され、視覚的な推論に対する既存の取り組みの信頼性が低下します。
この問題を経験的に研究するために、言語のショートカットと一般化機能の両方に関して詳細な調査を行い、この処理の落とし穴を検証します。
この調査結果に基づいて、このホワイト ペーパーでは、プラグ アンド プレイの知識蒸留強化フレームワークを提示して、質問応答と論理的推論プロセスを結合します。
主な貢献は、接続プロセスを実行するためのブリッジとして機能する新しいブランチの導入です。
私たちのフレームワークはモデルにとらわれないため、既存の一般的なベースラインに適用し、ベンチマーク データセットでその有効性を検証します。
実験結果で詳述されているように、フレームワークを装備すると、これらのベースラインは一貫した大幅なパフォーマンスの向上を達成し、プロセス結合の実行可能性と提案されたフレームワークの優位性を示します。

要約(オリジナル)

Visual Commonsense Reasoning (VCR), deemed as one challenging extension of the Visual Question Answering (VQA), endeavors to pursue a more high-level visual comprehension. It is composed of two indispensable processes: question answering over a given image and rationale inference for answer explanation. Over the years, a variety of methods tackling VCR have advanced the performance on the benchmark dataset. Despite significant as these methods are, they often treat the two processes in a separate manner and hence decompose the VCR into two irrelevant VQA instances. As a result, the pivotal connection between question answering and rationale inference is interrupted, rendering existing efforts less faithful on visual reasoning. To empirically study this issue, we perform some in-depth explorations in terms of both language shortcuts and generalization capability to verify the pitfalls of this treatment. Based on our findings, in this paper, we present a plug-and-play knowledge distillation enhanced framework to couple the question answering and rationale inference processes. The key contribution is the introduction of a novel branch, which serves as the bridge to conduct processes connecting. Given that our framework is model-agnostic, we apply it to the existing popular baselines and validate its effectiveness on the benchmark dataset. As detailed in the experimental results, when equipped with our framework, these baselines achieve consistent and significant performance improvements, demonstrating the viability of processes coupling, as well as the superiority of the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google