S3C: Semi-Supervised VQA Natural Language Explanation via Self-Critical Learning

要約

VQA 自然言語説明 (VQA-NLE) タスクは、VQA モデルの意思決定プロセスを自然言語で説明することを目的としています。
従来の注意分析や勾配分析とは異なり、フリーテキストの根拠は理解しやすく、ユーザーの信頼を得ることができます。
既存の手法では、ほとんどの場合、事後モデルまたは自己合理化モデルを使用して、もっともらしい説明を取得します。
しかし、これらのフレームワークは次のような課題によってボトルネックになっています。 1) 推論プロセスに忠実に応答できず、論理的矛盾の問題に悩まされます。
2) 人間による注釈付きの説明は、収集するのに費用と時間がかかります。
この論文では、自己批判的学習 (S3C) を介した新しい半教師あり VQA-NLE を提案します。これは、回答と根拠の間の論理的一貫性を向上させるために、報酬に回答することで候補の説明を評価します。
半教師あり学習フレームワークを使用すると、S3C は人間による注釈付きの説明なしで膨大な量のサンプルから恩恵を受けることができます。
多数の自動測定と人間による評価はすべて、私たちの方法の有効性を示しています。
一方、このフレームワークは 2 つの VQA-NLE データセットで新しい最先端のパフォーマンスを実現します。

要約(オリジナル)

VQA Natural Language Explanation (VQA-NLE) task aims to explain the decision-making process of VQA models in natural language. Unlike traditional attention or gradient analysis, free-text rationales can be easier to understand and gain users’ trust. Existing methods mostly use post-hoc or self-rationalization models to obtain a plausible explanation. However, these frameworks are bottlenecked by the following challenges: 1) the reasoning process cannot be faithfully responded to and suffer from the problem of logical inconsistency. 2) Human-annotated explanations are expensive and time-consuming to collect. In this paper, we propose a new Semi-Supervised VQA-NLE via Self-Critical Learning (S3C), which evaluates the candidate explanations by answering rewards to improve the logical consistency between answers and rationales. With a semi-supervised learning framework, the S3C can benefit from a tremendous amount of samples without human-annotated explanations. A large number of automatic measures and human evaluations all show the effectiveness of our method. Meanwhile, the framework achieves a new state-of-the-art performance on the two VQA-NLE datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google