Motion-Conditioned Image Animation for Video Editing

要約

ビデオ編集のためのモーションコンディショニングされたイメージ アニメーション アプローチである MoCA を紹介します。
これは、ビデオ編集の問題を画像編集に単純に分解し、その後に動きを調整した画像アニメーションを利用します。
さらに、ビデオ編集用の堅牢な評価データセットが不足していることを考慮して、オブジェクトの置換、背景の変更、スタイルの変更、モーション編集など、さまざまなタスクにわたる編集能力を測定する新しいベンチマークを導入します。
私たちは、提案したベンチマークに基づいて、MoCA とともに最新のビデオ編集方法の包括的な人間による評価を提示します。
MoCA は新たな最先端技術を確立し、人間の好みによる勝率の向上を実証し、Dreamix (63%)、MasaCtrl (75%)、Tune-A-Video (72%) などの最近の注目すべきアプローチを上回るパフォーマンスを示しています。
特にモーション編集が大幅に改善されました。

要約(オリジナル)

We introduce MoCA, a Motion-Conditioned Image Animation approach for video editing. It leverages a simple decomposition of the video editing problem into image editing followed by motion-conditioned image animation. Furthermore, given the lack of robust evaluation datasets for video editing, we introduce a new benchmark that measures edit capability across a wide variety of tasks, such as object replacement, background changes, style changes, and motion edits. We present a comprehensive human evaluation of the latest video editing methods along with MoCA, on our proposed benchmark. MoCA establishes a new state-of-the-art, demonstrating greater human preference win-rate, and outperforming notable recent approaches including Dreamix (63%), MasaCtrl (75%), and Tune-A-Video (72%), with especially significant improvements for motion edits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google