Revealing Single Frame Bias for Video-and-Language Learning

要約

映像言語モデルを効果的に学習させるためには、直感的に複数のフレームをモデル入力として用いることが必要である。しかし、複数のフレームを用いることが下流のタスクにとって有益かどうか、有益な場合、より多くのフレームを用いることによる計算量とメモリコストの大幅な増加に見合う性能向上が得られるかどうかは不明である。本研究では、ビデオ言語学習のための単一フレームモデルについて検討する。その結果、大規模な事前学習と推論時の適切なフレームアンサンブル戦略により、時間情報を考慮しない単一フレーム学習モデルは、複数フレームを用いた既存の学習方法よりも高い性能を達成できるという驚くべき結果を得た。この結果は、一般的なビデオと言語のデータセットにおける強い「静的外観バイアス」の存在を明らかにするものである。そこで、映像・言語モデルをより包括的に評価できるようにするため、時間的なモデル化を促す既存の細粒度行動認識データセットに基づく2つの新しい検索タスクを提案する。我々のコードは https://github.com/jayleicn/singularity で公開されています。

要約(オリジナル)

Training an effective video-and-language model intuitively requires multiple frames as model inputs. However, it is unclear whether using multiple frames is beneficial to downstream tasks, and if yes, whether the performance gain is worth the drastically-increased computation and memory costs resulting from using more frames. In this work, we explore single-frame models for video-and-language learning. On a diverse set of video-and-language tasks (including text-to-video retrieval and video question answering), we show the surprising result that, with large-scale pre-training and a proper frame ensemble strategy at inference time, a single-frame trained model that does not consider temporal information can achieve better performance than existing methods that use multiple frames for training. This result reveals the existence of a strong ‘static appearance bias’ in popular video-and-language datasets. Therefore, to allow for a more comprehensive evaluation of video-and-language models, we propose two new retrieval tasks based on existing fine-grained action recognition datasets that encourage temporal modeling. Our code is available at https://github.com/jayleicn/singularity

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL