要約
最近のマルチモーダル大規模言語モデル（LLM）の進歩に伴い、画像-テキストデータからより情報量の多い実世界の動画へのスケーリングに注目が集まっている。静止画像に比べ、動画は時空間ダイナミクスをモデル化するため、効果的な大規模事前学習には独特の課題がある。本論文では、各動画をキーフレームと時間運動として表現する効率的な動画分解により、動画言語事前学習におけるこのような限界に対処する。次に、視覚情報と時間情報を少数のトークンとして離散化するように設計されたトークン化器を用いて、これらをLLMに適合させることにより、動画、画像、テキストの統一的な生成的事前学習を可能にする。推論では、LLMから生成されたトークンを元の連続ピクセル空間に注意深く復元し、様々なビデオコンテンツを作成する。我々の提案するフレームワークは、画像とビデオの理解と生成において、13のマルチモーダルベンチマークで競争力のあるパフォーマンスによって実証されているように、画像とビデオのコンテンツを理解し、生成することができる。我々のコードとモデルはhttps://video-lavit.github.io。
要約(オリジナル)
In light of recent advances in multimodal Large Language Models (LLMs), there is increasing attention to scaling them from image-text data to more informative real-world videos. Compared to static images, video poses unique challenges for effective large-scale pre-training due to the modeling of its spatiotemporal dynamics. In this paper, we address such limitations in video-language pre-training with an efficient video decomposition that represents each video as keyframes and temporal motions. These are then adapted to an LLM using well-designed tokenizers that discretize visual and temporal information as a few tokens, thus enabling unified generative pre-training of videos, images, and text. At inference, the generated tokens from the LLM are carefully recovered to the original continuous pixel space to create various video content. Our proposed framework is both capable of comprehending and generating image and video content, as demonstrated by its competitive performance across 13 multimodal benchmarks in image and video understanding and generation. Our code and models are available at https://video-lavit.github.io.
arxiv情報
| 著者 | Yang Jin,Zhicheng Sun,Kun Xu,Kun Xu,Liwei Chen,Hao Jiang,Quzhe Huang,Chengru Song,Yuliang Liu,Di Zhang,Yang Song,Kun Gai,Yadong Mu |
| 発行日 | 2024-06-03 08:09:09+00:00 |
| arxivサイト | arxiv_id(pdf) |