VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence

要約

現在の普及ベースのビデオ編集は、主に、時間的な一貫性と動きの整合性を確保するために、さまざまな密な対応関係を利用することによって、構造を保持した編集に焦点を当てています。
ただし、これらのアプローチは、ターゲットの編集に形状の変更が含まれる場合には効果がないことがよくあります。
形状変更を伴うビデオ編集に着手するために、この作業ではカスタマイズされたビデオの被写体の交換を検討します。ここでは、ソース ビデオの主要な被写体を、明確なアイデンティティと潜在的に異なる形状を持つターゲットの被写体に置き換えることを目的としています。
密な対応に依存する以前の方法とは対照的に、対象の動きの軌道を調整し、その形状を変更するために少数の意味ポイントのみが必要であるという観察に触発されて、意味論的な点の対応を利用する VideoSwap フレームワークを導入します。
また、さまざまなセマンティック ポイントの対応に対処するために、さまざまなユーザー ポイント インタラクション (ポイントの削除やポイントのドラッグなど) も導入します。
広範な実験により、現実世界のさまざまなビデオにわたる最先端のビデオ主題交換結果が実証されています。

要約(オリジナル)

Current diffusion-based video editing primarily focuses on structure-preserved editing by utilizing various dense correspondences to ensure temporal consistency and motion alignment. However, these approaches are often ineffective when the target edit involves a shape change. To embark on video editing with shape change, we explore customized video subject swapping in this work, where we aim to replace the main subject in a source video with a target subject having a distinct identity and potentially different shape. In contrast to previous methods that rely on dense correspondences, we introduce the VideoSwap framework that exploits semantic point correspondences, inspired by our observation that only a small number of semantic points are necessary to align the subject’s motion trajectory and modify its shape. We also introduce various user-point interactions (\eg, removing points and dragging points) to address various semantic point correspondence. Extensive experiments demonstrate state-of-the-art video subject swapping results across a variety of real-world videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google