Contrastive Video Question Answering via Video Graph Transformer

要約

ビデオ グラフ トランスフォーマー モデル (CoVGT) を介して対照的な方法でビデオ質問応答 (VideoQA) を実行することを提案します。
CoVGT の独自性と優位性は 3 つあります。1) 複雑な時空間推論のために、視覚オブジェクト、それらの関係、およびダイナミクスを明示的にキャプチャすることによってビデオをエンコードする動的グラフ トランスフォーマー モジュールを提案します。
2) 回答分類用のマルチモーダル トランスフォーマーの代わりに、ビデオとテキスト間の対比学習用に個別のビデオ トランスフォーマーとテキスト トランスフォーマーを設計して QA を実行します。
きめ細かなビデオ テキスト通信は、追加のクロスモーダル インタラクション モジュールによって行われます。
3) 正解と不正解、およびそれぞれ関連する質問と無関係な質問の間の完全および自己管理型の対照的な目的を組み合わせることによって最適化されます。
優れたビデオ エンコーディングと QA ソリューションにより、CoVGT がビデオ推論タスクで以前の技術よりもはるかに優れたパフォーマンスを達成できることを示します。
そのパフォーマンスは、何百万もの外部データで事前トレーニングされたモデルよりも優れています。
さらに、CoVGT はクロスモーダル事前トレーニングの恩恵を受けることができますが、桁違いに小さいデータであることを示しています。
結果は、CoVGT の有効性と優位性を実証し、さらにデータ効率の高い事前トレーニングの可能性を明らかにします。
私たちの成功が、VideoQA を大まかな認識/説明からビデオ コンテンツのきめの細かい関係推論へと前進させることができることを願っています。
コードは https://github.com/doc-doc/CoVGT で入手できます。

要約(オリジナル)

We propose to perform video question answering (VideoQA) in a Contrastive manner via a Video Graph Transformer model (CoVGT). CoVGT’s uniqueness and superiority are three-fold: 1) It proposes a dynamic graph transformer module which encodes video by explicitly capturing the visual objects, their relations and dynamics, for complex spatio-temporal reasoning. 2) It designs separate video and text transformers for contrastive learning between the video and text to perform QA, instead of multi-modal transformer for answer classification. Fine-grained video-text communication is done by additional cross-modal interaction modules. 3) It is optimized by the joint fully- and self-supervised contrastive objectives between the correct and incorrect answers, as well as the relevant and irrelevant questions respectively. With superior video encoding and QA solution, we show that CoVGT can achieve much better performances than previous arts on video reasoning tasks. Its performances even surpass those models that are pretrained with millions of external data. We further show that CoVGT can also benefit from cross-modal pretraining, yet with orders of magnitude smaller data. The results demonstrate the effectiveness and superiority of CoVGT, and additionally reveal its potential for more data-efficient pretraining. We hope our success can advance VideoQA beyond coarse recognition/description towards fine-grained relation reasoning of video contents. Our code will be available at https://github.com/doc-doc/CoVGT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google