VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

要約

映像生成における著しい進歩にもかかわらず、与えられたオブジェクトを映像に挿入することは依然として困難なタスクである。その難しさは、参照オブジェクトの外観の詳細を保持し、同時にコヒーレントな動きを正確にモデル化することにある。本論文では、VideoAnydoorを提案する。VideoAnydoorは、高忠実度の詳細保持と正確なモーション制御を持つ、ゼロショット映像オブジェクト挿入フレームワークである。テキストからビデオへのモデルから出発し、ID抽出器を利用してグローバルIDを注入し、ボックスシーケンスを利用して全体の動きを制御する。詳細な外観を保持し、一方できめ細かな動き制御をサポートするために、我々は画素ワーパーを設計する。これは任意のキーポイントを持つ参照画像と、対応するキーポイントの軌跡を入力とする。これは、軌跡に従ってピクセルの細部をワープし、ワープされた特徴を拡散U-Netと融合させることで、細部の保存を改善し、ユーザが動きの軌跡を操作することを支援する。さらに、動画と静止画の両方を含む学習戦略を提案し、挿入品質を向上させるために再構成損失を再重み付けする。VideoAnydoorは、既存の手法に対して大きな優位性を示し、タスク固有の微調整なしに、様々な下流アプリケーション（例えば、トーキングヘッド生成、ビデオ仮想試着、多領域編集）を自然にサポートする。

要約(オリジナル)

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a reweight reconstruction loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL