Zero-Shot Video Question Answering via Frozen Bidirectional Language Models

要約

ビデオ質問応答 (VideoQA) は、トレーニングのために多様なマルチモーダル データを必要とする複雑なタスクです。
ただし、ビデオの質問と回答に手動で注釈を付けるのは面倒で、スケーラビリティが妨げられます。
この問題に取り組むために、最近の方法では、視覚的な質疑応答の手動注釈を使用しないゼロショット設定が考慮されています。
特に、有望なアプローチは、Web スケールのテキストのみのデータで事前トレーニングされた凍結された自己回帰言語モデルをマルチモーダル入力に適応させます。
対照的に、ここでは凍結された双方向言語モデル (BiLM) に基づいて構築し、そのようなアプローチがゼロショット VideoQA のより強力で安価な代替手段を提供することを示します。
具体的には、(i) 軽量のトレーニング可能なモジュールを使用して視覚入力を凍結された BiLM と組み合わせ、(ii) Web スクレイピングされたマルチモーダル データを使用してそのようなモジュールをトレーニングし、最後に (iii) マスクされた言語を介してゼロショット VideoQA 推論を実行します。
マスキングされたテキストが特定の質問に対する回答であるモデリング。
私たちが提案するアプローチである FrozenBiLM は、LSMDC-FiB、iVQA、MSRVTT-QA、MSVD-QA、ActivityNet-QA、TGIF-FrameQA などのさまざまなデータセットでゼロショット VideoQA の最先端技術を大幅に上回っています。
How2QA と TVQA。
また、少数のショットと完全に監視された設定で競争力のあるパフォーマンスを示します。
私たちのコードとモデルは、https://github.com/antoyang/FrozenBiLM で公開されています。

要約(オリジナル)

Video question answering (VideoQA) is a complex task that requires diverse multi-modal data for training. Manual annotation of question and answers for videos, however, is tedious and prohibits scalability. To tackle this problem, recent methods consider zero-shot settings with no manual annotation of visual question-answer. In particular, a promising approach adapts frozen autoregressive language models pretrained on Web-scale text-only data to multi-modal inputs. In contrast, we here build on frozen bidirectional language models (BiLM) and show that such an approach provides a stronger and cheaper alternative for zero-shot VideoQA. In particular, (i) we combine visual inputs with the frozen BiLM using light trainable modules, (ii) we train such modules using Web-scraped multi-modal data, and finally (iii) we perform zero-shot VideoQA inference through masked language modeling, where the masked text is the answer to a given question. Our proposed approach, FrozenBiLM, outperforms the state of the art in zero-shot VideoQA by a significant margin on a variety of datasets, including LSMDC-FiB, iVQA, MSRVTT-QA, MSVD-QA, ActivityNet-QA, TGIF-FrameQA, How2QA and TVQA. It also demonstrates competitive performance in the few-shot and fully-supervised setting. Our code and models are publicly available at https://github.com/antoyang/FrozenBiLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google