Any2Caption:Interpreting Any Condition to Caption for Controllable Video Generation

要約

現在のビデオ生成コミュニティ内の正確なユーザー意図解釈のボトルネックに対処するために、任意の条件下で制御可能なビデオ生成のための新しいフレームワークであるAny2Captionを提示します。
重要なアイデアは、ビデオ統合ステップからさまざまな条件解釈ステップを切り離すことです。
最新のマルチモーダル大手言語モデル（MLLM）を活用することにより、任意の2Captionは、テキスト、画像、ビデオ、および地域、動き、カメラなどの特殊なキューなど、バックボーンビデオジェネレーターを提供する密集した構造化されたキャプションなど、さまざまな入力を解釈します。
また、337Kインスタンスを備えた大規模なデータセットと、任意の条件とキャプションへの命令チューニングのために407kの条件を紹介します。
包括的な評価は、既存のビデオ生成モデルのさまざまな側面にわたる制御可能性とビデオ品質におけるシステムの大幅な改善を示しています。
プロジェクトページ：https：//sqwu.top/any2cap/

要約(オリジナル)

To address the bottleneck of accurate user intent interpretation within the current video generation community, we present Any2Caption, a novel framework for controllable video generation under any condition. The key idea is to decouple various condition interpretation steps from the video synthesis step. By leveraging modern multimodal large language models (MLLMs), Any2Caption interprets diverse inputs–text, images, videos, and specialized cues such as region, motion, and camera poses–into dense, structured captions that offer backbone video generators with better guidance. We also introduce Any2CapIns, a large-scale dataset with 337K instances and 407K conditions for any-condition-to-caption instruction tuning. Comprehensive evaluations demonstrate significant improvements of our system in controllability and video quality across various aspects of existing video generation models. Project Page: https://sqwu.top/Any2Cap/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google