VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

要約

ビデオ生成は大幅に進歩しましたが、特定のオブジェクトをビデオに挿入することは依然として困難な作業です。
難しいのは、参照オブジェクトの外観の詳細を保存し、同時に一貫した動きを正確にモデル化することにあります。
この論文では、高忠実度のディテール保持と正確なモーション制御を備えたゼロショット ビデオ オブジェクト挿入フレームワークである VideoAnydoor を提案します。
テキストからビデオへのモデルから始めて、ID エクストラクターを利用してグローバル ID を注入し、ボックス シーケンスを利用して全体のモーションを制御します。
詳細な外観を維持しながら、きめ細かいモーション制御をサポートするために、ピクセル ワーパーを設計します。
任意のキーポイントを持つ参照画像と、対応するキーポイントの軌跡を入力として受け取ります。
軌跡に従ってピクセルの詳細をワープし、ワープされた特徴を拡散 U-Net と融合することで、ディテールの保存が向上し、ユーザーのモーション軌跡の操作をサポートします。
さらに、挿入品質を向上させるために重み付け損失を伴うビデオと静止画像の両方を含むトレーニング戦略を提案します。
VideoAnydoor は既存の方法に比べて大幅な優位性を示し、タスク固有の微調整を行うことなく、さまざまなダウンストリーム アプリケーション (トーキング ヘッドの生成、ビデオの仮想試着、複数領域の編集など) を自然にサポートします。

要約(オリジナル)

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a weighted loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google