Video-Language Understanding: A Survey from Model Architecture, Model Training, and Data Perspectives

要約

人間は複数の感覚を使って環境を理解します。
視覚と言語は、私たちが自分の考えを簡単に伝えたり、周囲の世界を認識したりできるようにするため、最も重要な感覚の 2 つです。
ビデオ言語のペアは、時間的ダイナミクスを備えた言語媒体と視覚環境の両方を模倣できるため、人間のような感覚を備えたビデオ言語理解システムを作成することに多くの関心が寄せられています。
この調査では、これらのシステムの主要なタスクを確認し、関連する課題を浮き彫りにします。
課題に基づいて、モデル アーキテクチャ、モデル トレーニング、データの観点からその手法を要約します。
また、手法間の性能比較も行い、将来の研究の有望な方向性についても議論します。

要約(オリジナル)

Humans use multiple senses to comprehend the environment. Vision and language are two of the most vital senses since they allow us to easily communicate our thoughts and perceive the world around us. There has been a lot of interest in creating video-language understanding systems with human-like senses since a video-language pair can mimic both our linguistic medium and visual environment with temporal dynamics. In this survey, we review the key tasks of these systems and highlight the associated challenges. Based on the challenges, we summarize their methods from model architecture, model training, and data perspectives. We also conduct performance comparison among the methods, and discuss promising directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google