Drag-A-Video: Non-rigid Video Editing with Point-based Interaction

要約

ビデオ編集は、空間的次元と時間的次元の両方でビデオを操作する必要がある難しいタスクです。
ビデオ編集の既存の方法は、主に、ビデオ内のオブジェクトの構造を変更せずに、オブジェクトの外観やスタイルを変更することに重点を置いています。
ただし、ユーザーが最初のフレーム上のインスタンスの任意のポイントをインタラクティブに「ドラッグ」して、他のフレームを一貫して変形させながらターゲット ポイントに正確に到達できるようにする既存の方法はありません。
この論文では、Drag-A-Video と呼ばれる、インタラクティブなポイントベースのビデオ操作のための新しい拡散ベースの方法を提案します。
私たちの方法では、ユーザーは入力ビデオの最初のフレーム上のハンドル ポイントとターゲット ポイントのペア、およびマスクをクリックすることができます。
次に、私たちのメソッドは入力を点セットに変換し、これらのセットをフレーム全体に伝播します。
ビデオのコンテンツを正確に変更するために、新しいビデオレベルのモーション監視を採用してビデオの機能を更新し、潜在オフセットを導入して、複数のノイズ除去タイムステップでこの更新を実現します。
ハンドル点セット内の点の動きを調整するために、時間的に一貫した点追跡モジュールを提案します。
私たちはさまざまなビデオで私たちの方法の有効性と柔軟性を実証しています。
私たちの作品の Web サイトは、https://drag-a-video.github.io/ からご覧いただけます。

要約(オリジナル)

Video editing is a challenging task that requires manipulating videos on both the spatial and temporal dimensions. Existing methods for video editing mainly focus on changing the appearance or style of the objects in the video, while keeping their structures unchanged. However, there is no existing method that allows users to interactively “drag” any points of instances on the first frame to precisely reach the target points with other frames consistently deformed. In this paper, we propose a new diffusion-based method for interactive point-based video manipulation, called Drag-A-Video. Our method allows users to click pairs of handle points and target points as well as masks on the first frame of an input video. Then, our method transforms the inputs into point sets and propagates these sets across frames. To precisely modify the contents of the video, we employ a new video-level motion supervision to update the features of the video and introduce the latent offsets to achieve this update at multiple denoising timesteps. We propose a temporal-consistent point tracking module to coordinate the movement of the points in the handle point sets. We demonstrate the effectiveness and flexibility of our method on various videos. The website of our work is available here: https://drag-a-video.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google