MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions

要約

大規模なマルチモダリティ データセットは、大規模なビデオ言語モデルの成功を促進する上で重要な役割を果たします。
ただし、現在のビデオ言語データセットは主に視覚フレームのテキスト説明を提供しており、音声は関連性の低い情報であると考えられています。
彼らは通常、固有の視聴覚相関の可能性の探求を見落としており、包括的で正確な説明ではなく、各モダリティ内の単調な注釈につながります。
このような無知により、複数のクロスモダリティ研究が困難になります。
このギャップを埋めるために、MMTrail を紹介します。MMTrail は、ビジュアル キャプション付きの 2,000 万個を超えるトレーラー クリップと、マルチモーダル キャプション付きの 200 万個以上の高品質クリップを組み込んだ大規模なマルチモーダリティ ビデオ言語データセットです。
予告編は、全長ビデオ作品をプレビューし、コンテキスト、ビジュアル フレーム、BGM を統合します。
特に、トレーラーには 2 つの主な利点があります: (1) トピックは多様であり、コンテンツの登場人物もさまざまなタイプ (映画、ニュース、ゲームなど) です。
(2) 対応する BGM はカスタムデザインされており、視覚的なコンテキストとより一貫性のあるものになっています。
これらの洞察に基づいて、27.1,000 時間を超える予告編ビデオでさまざまなモダリティの注釈を実現する、体系的なキャプション フレームワークを提案します。
ここでは、視覚的なコンテキストの権威を維持しながらキャプションが音楽の視点を確実に維持するために、高度な LLM を活用してすべての注釈を適応的にマージします。
このようにして、MMtrail データセットは、きめの細かい大規模なマルチモーダル言語モデルのトレーニングへの道を開く可能性があります。
実験では、データセットの評価メトリクスとベンチマーク結果を提供し、アノテーションの高品質とモデルトレーニングに対するその有効性を実証します。

要約(オリジナル)

Massive multi-modality datasets play a significant role in facilitating the success of large video-language models. However, current video-language datasets primarily provide text descriptions for visual frames, considering audio to be weakly related information. They usually overlook exploring the potential of inherent audio-visual correlation, leading to monotonous annotation within each modality instead of comprehensive and precise descriptions. Such ignorance results in the difficulty of multiple cross-modality studies. To fulfill this gap, we present MMTrail, a large-scale multi-modality video-language dataset incorporating more than 20M trailer clips with visual captions, and 2M high-quality clips with multimodal captions. Trailers preview full-length video works and integrate context, visual frames, and background music. In particular, the trailer has two main advantages: (1) the topics are diverse, and the content characters are of various types, e.g., film, news, and gaming. (2) the corresponding background music is custom-designed, making it more coherent with the visual context. Upon these insights, we propose a systemic captioning framework, achieving various modality annotations with more than 27.1k hours of trailer videos. Here, to ensure the caption retains music perspective while preserving the authority of visual context, we leverage the advanced LLM to merge all annotations adaptively. In this fashion, our MMtrail dataset potentially paves the path for fine-grained large multimodal-language model training. In experiments, we provide evaluation metrics and benchmark results on our dataset, demonstrating the high quality of our annotation and its effectiveness for model training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google