Diffusion Video Autoencoders: Toward Temporally Consistent Face Video Editing via Disentangled Video Encoding

要約

最近の顔画像編集方法の印象的なパフォーマンスに触発されて、これらの方法を顔ビデオ編集タスクに拡張するためのいくつかの研究が当然提案されています。
ここでの主な課題の 1 つは、編集されたフレーム間の時間的な一貫性であり、これはまだ解決されていません。
この目的のために、拡散オートエンコーダーに基づく新しい顔ビデオ編集フレームワークを提案します。このフレームワークは、顔ビデオ編集モデルとして初めて、特定のビデオからアイデンティティとモーションの分解された特徴をうまく抽出できます。
このモデリングにより、時間的に不変な機能を目的の方向に操作して一貫性を保つだけで、ビデオを編集できます。
私たちのモデルのもう 1 つのユニークな強みは、私たちのモデルは拡散モデルに基づいているため、再構成と編集の両方の機能を同時に満たすことができ、既存の GAN とは異なり、野生の顔のビデオ (例: 遮られた顔) のコーナー ケースに対して堅牢であることです。
ベースのメソッド。

要約(オリジナル)

Inspired by the impressive performance of recent face image editing methods, several studies have been naturally proposed to extend these methods to the face video editing task. One of the main challenges here is temporal consistency among edited frames, which is still unresolved. To this end, we propose a novel face video editing framework based on diffusion autoencoders that can successfully extract the decomposed features – for the first time as a face video editing model – of identity and motion from a given video. This modeling allows us to edit the video by simply manipulating the temporally invariant feature to the desired direction for the consistency. Another unique strength of our model is that, since our model is based on diffusion models, it can satisfy both reconstruction and edit capabilities at the same time, and is robust to corner cases in wild face videos (e.g. occluded faces) unlike the existing GAN-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google