Frame-Subtitle Self-Supervision for Multi-Modal Video Question Answering

要約

マルチモーダルビデオ質問応答は、正解を予測し、質問に関連する時間的境界を局所化することを目的としている。質問に対する時間的アノテーションは質問応答の性能と解釈可能性を向上させるが、通常、経験的でコストがかかる。そこで、我々は時間的注釈を避けるために、弱い教師付き質問接地（WSQG）設定を考案する。この設定では、QA注釈のみが用いられ、時間的注目度スコアに従って関連する時間的境界が生成される。時間的注釈の代わりに、フレームと字幕の対応関係をフレーム-字幕（FS）自己教師化し、時間的注意スコアを最適化することで、VideoQAモデルにおけるビデオ言語理解度を向上させることができる。TVQAとTVQA+のデータセットを用いた広範な実験により、提案するWSQG戦略は質問の根拠付けにおいて同等の性能を得ることができ、自己教師化はQA-教師化のみと完全教師化の両方で質問応答と根拠付けの性能向上に役立つことが実証された。

要約(オリジナル)

Multi-modal video question answering aims to predict correct answer and localize the temporal boundary relevant to the question. The temporal annotations of questions improve QA performance and interpretability of recent works, but they are usually empirical and costly. To avoid the temporal annotations, we devise a weakly supervised question grounding (WSQG) setting, where only QA annotations are used and the relevant temporal boundaries are generated according to the temporal attention scores. To substitute the temporal annotations, we transform the correspondence between frames and subtitles to Frame-Subtitle (FS) self-supervision, which helps to optimize the temporal attention scores and hence improve the video-language understanding in VideoQA model. The extensive experiments on TVQA and TVQA+ datasets demonstrate that the proposed WSQG strategy gets comparable performance on question grounding, and the FS self-supervision helps improve the question answering and grounding performance on both QA-supervision only and full-supervision settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL