Enhancing Temporal Consistency in Video Editing by Reconstructing Videos with 3D Gaussian Splatting

要約

ゼロショット ビデオ拡散モデルの最近の進歩により、テキスト駆動のビデオ編集が可能になることが示されていますが、高い時間的一貫性を達成するには課題が残っています。
これに対処するために、ゼロショット ビデオ エディターの時間的一貫性を強化するように設計された 3D ガウス スプラッティング (3DGS) ベースのビデオ リファイナーである Video-3DGS を導入します。
私たちのアプローチは、動的な単眼ビデオの編集に合わせた 2 段階の 3D ガウス最適化プロセスを利用します。
最初の段階では、Video-3DGS は MC-COLMAP と呼ばれる COLMAP の改良版を採用し、マスクとクリップのアプローチを使用してオリジナルのビデオを処理します。
MC-COLMAP は、ビデオ クリップごとに、動的な前景オブジェクトと複雑な背景の点群を生成します。
これらの点群は、前景と背景のビューを表現することを目的とした 2 セットの 3D ガウス (Frg-3DGS および Bkg-3DGS) を初期化するために利用されます。
次に、前景ビューと背景ビューの両方が 2D 学習可能なパラメータ マップとマージされ、完全なビューが再構築されます。
第 2 段階では、第 1 段階で開発した再構築能力を活用して、ビデオ拡散モデルに時間的制約を課します。
両方の段階で Video-3DGS の有効性を実証するために、ビデオ再構成とビデオ編集という 2 つの関連タスクにわたって広範な実験を実施しました。
3,000 回の反復でトレーニングされたビデオ 3DGS は、NeRF ベースおよび 3DGS ベースの最先端の方法と比較して、ビデオ再構成品質 (+3 PSNR、+7 PSNR 増加) とトレーニング効率 (1.9 倍、4.5 倍高速) を大幅に向上させます。
それぞれ DAVIS データセット上にあります。
さらに、58 個の動的な単眼ビデオ全体で時間的な一貫性を確保することで、ビデオ編集を強化します。

要約(オリジナル)

Recent advancements in zero-shot video diffusion models have shown promise for text-driven video editing, but challenges remain in achieving high temporal consistency. To address this, we introduce Video-3DGS, a 3D Gaussian Splatting (3DGS)-based video refiner designed to enhance temporal consistency in zero-shot video editors. Our approach utilizes a two-stage 3D Gaussian optimizing process tailored for editing dynamic monocular videos. In the first stage, Video-3DGS employs an improved version of COLMAP, referred to as MC-COLMAP, which processes original videos using a Masked and Clipped approach. For each video clip, MC-COLMAP generates the point clouds for dynamic foreground objects and complex backgrounds. These point clouds are utilized to initialize two sets of 3D Gaussians (Frg-3DGS and Bkg-3DGS) aiming to represent foreground and background views. Both foreground and background views are then merged with a 2D learnable parameter map to reconstruct full views. In the second stage, we leverage the reconstruction ability developed in the first stage to impose the temporal constraints on the video diffusion model. To demonstrate the efficacy of Video-3DGS on both stages, we conduct extensive experiments across two related tasks: Video Reconstruction and Video Editing. Video-3DGS trained with 3k iterations significantly improves video reconstruction quality (+3 PSNR, +7 PSNR increase) and training efficiency (x1.9, x4.5 times faster) over NeRF-based and 3DGS-based state-of-art methods on DAVIS dataset, respectively. Moreover, it enhances video editing by ensuring temporal consistency across 58 dynamic monocular videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google