Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering

要約

Video Question Answering (VideoQA) は、ビデオで観察された情報に基づいて自然言語の質問に答えることを目的としています。
画像言語の理解と推論における大規模マルチモーダル モデル (LMM) の最近の成功にもかかわらず、均一にサンプリングされたフレームを視覚入力として単に取得するだけで、質問に関連する視覚的な手がかりを無視するため、VideoQA への対応が不十分です。
さらに、既存の VideoQA データセットには、質問に重要なタイムスタンプに対する人による注釈がありません。
これを考慮して、視覚的な入力として質問の重要な瞬間を使用して答えを推論するように LMM に強制する、新しい弱く監視されたフレームワークを提案します。
具体的には、まず質問と回答のペアをイベントの説明として融合し、CLIP モデルの視覚言語調整機能を使用して、ターゲット モーメントおよび疑似ラベルとして複数のキーフレームを見つけます。
これらの疑似ラベル付きキーフレームをさらに弱い監視として使用して、軽量のガウスベースのコントラストグランディング (GCG) モジュールを考案します。
GCG は、ビデオの時間構造を特徴付けるために複数のガウス関数を学習し、LMM の視覚入力となる肯定的な瞬間として質問に重要なフレームをサンプリングします。
いくつかのベンチマークに関する広範な実験により、フレームワークの有効性が検証され、以前の最先端の手法と比較して大幅な改善が達成されました。

要約(オリジナル)

Video Question Answering (VideoQA) aims to answer natural language questions based on the information observed in videos. Despite the recent success of Large Multimodal Models (LMMs) in image-language understanding and reasoning, they deal with VideoQA insufficiently, by simply taking uniformly sampled frames as visual inputs, which ignores question-relevant visual clues. Moreover, there are no human annotations for question-critical timestamps in existing VideoQA datasets. In light of this, we propose a novel weakly supervised framework to enforce the LMMs to reason out the answers with question-critical moments as visual inputs. Specifically, we first fuse the question and answer pairs as event descriptions to find multiple keyframes as target moments and pseudo-labels, with the visual-language alignment capability of the CLIP models. With these pseudo-labeled keyframes as additionally weak supervision, we devise a lightweight Gaussian-based Contrastive Grounding (GCG) module. GCG learns multiple Gaussian functions to characterize the temporal structure of the video, and sample question-critical frames as positive moments to be the visual inputs of LMMs. Extensive experiments on several benchmarks verify the effectiveness of our framework, and we achieve substantial improvements compared to previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google