OmniVid: A Generative Framework for Universal Video Understanding

要約

認識、キャプション、追跡などのビデオ理解タスクの中核は、ビデオ内のオブジェクトやアクションを自動的に検出し、それらの時間的変化を分析することです。
共通の目標を共有しているにもかかわらず、さまざまなタスクは異なるモデル アーキテクチャと注釈形式に依存することがよくあります。
対照的に、自然言語処理は、統一された出力空間、つまりテキスト シーケンスの恩恵を受け、広範なトレーニング コーパスを使用した GPT-3 などの強力な基礎言語モデルのトレーニングを簡素化します。
これに触発されて、私たちは言語をラベルとして使用し、さらにタイム トークンとボックス トークンを導入することで、ビデオ理解タスクの出力空間を統一することを目指しています。
このようにして、さまざまなビデオ タスクをビデオに基づいたトークン生成として定式化できます。
これにより、完全に共有されたシステム内で、分類 (アクション認識など)、キャプション (クリップのキャプション、ビデオの質問応答、高密度ビデオのキャプションを含む)、およびローカリゼーション タスク (視覚オブジェクトの追跡など) を含む、さまざまなタイプのビデオ タスクに対処できるようになります。
生成フレームワークに従ったエンコーダ/デコーダ アーキテクチャ。
私たちは包括的な実験を通じて、このようなシンプルで率直なアイデアが非常に効果的であり、7 つのビデオ ベンチマークで最先端の結果または競争力のある結果を達成できることを実証し、より普遍的なビデオの理解のための新しい視点を提供します。
コードは https://github.com/wangjk666/OmniVid で入手できます。

要約(オリジナル)

The core of video understanding tasks, such as recognition, captioning, and tracking, is to automatically detect objects or actions in a video and analyze their temporal evolution. Despite sharing a common goal, different tasks often rely on distinct model architectures and annotation formats. In contrast, natural language processing benefits from a unified output space, i.e., text sequences, which simplifies the training of powerful foundational language models, such as GPT-3, with extensive training corpora. Inspired by this, we seek to unify the output space of video understanding tasks by using languages as labels and additionally introducing time and box tokens. In this way, a variety of video tasks could be formulated as video-grounded token generation. This enables us to address various types of video tasks, including classification (such as action recognition), captioning (covering clip captioning, video question answering, and dense video captioning), and localization tasks (such as visual object tracking) within a fully shared encoder-decoder architecture, following a generative framework. Through comprehensive experiments, we demonstrate such a simple and straightforward idea is quite effective and can achieve state-of-the-art or competitive results on seven video benchmarks, providing a novel perspective for more universal video understanding. Code is available at https://github.com/wangjk666/OmniVid.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google