InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding

要約

アクション認識、ビデオテキストタスク、およびビデオ中心の対話において最先端のパフォーマンスを実現する新しいビデオ基盤モデル (ViFM) である InternVideo2 を紹介します。
私たちのアプローチは、マスクされたビデオトークン再構成、クロスモーダル対比学習、次のトークン予測のさまざまな自己教師あり学習フレームワークまたは弱教師教師学習フレームワークを統合する進歩的なトレーニングパラダイムを採用しています。
トレーニング段階が異なると、モデルはさまざまな口実タスクを通じてさまざまなレベルの構造と意味情報を取得できるようになります。
データ レベルでは、ビデオを意味的にセグメント化し、ビデオ、オーディオ、音声のキャプションを生成することで、時空間の一貫性を優先します。
これにより、ビデオとテキストの配置が改善されます。
InternVideo2 では、データとモデル サイズの両方をスケーリングします。
広範な実験を通じて設計を検証し、60 を超えるビデオおよびオーディオ タスクで最先端のパフォーマンスを実証しました。
特に、私たちのモデルは、さまざまなビデオ関連のキャプション、対話、および長いビデオ理解ベンチマークで他のモデルよりも優れており、長い時間的コンテキストを推論して理解する能力を強調しています。
コードとモデルは https://github.com/OpenGVLab/InternVideo2/ で入手できます。

要約(オリジナル)

We introduce InternVideo2, a new video foundation model (ViFM) that achieves the state-of-the-art performance in action recognition, video-text tasks, and video-centric dialogue. Our approach employs a progressive training paradigm that unifies the different self- or weakly-supervised learning frameworks of masked video token reconstruction, cross-modal contrastive learning, and next token prediction. Different training stages would guide our model to capture different levels of structure and semantic information through different pretext tasks. At the data level, we prioritize the spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. We scale both data and model size for our InternVideo2. Through extensive experiments, we validate our designs and demonstrate the state-of-the-art performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related captioning, dialogue, and long video understanding benchmarks, highlighting its ability to reason and comprehend long temporal contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo2/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google