Generative Omnimatte: Learning to Decompose Video into Layers

要約

ビデオと一連の入力オブジェクト マスクが与えられると、オムニマット手法は、影や反射などの関連する効果とともに、個々のオブジェクトを含む意味的に意味のあるレイヤーにビデオを分解することを目的としています。
既存のオムニマット手法は、静的な背景または正確な姿勢と深さの推定を前提としており、これらの前提に違反すると分解が不十分になります。
さらに、自然ビデオには事前生成が欠如しているため、既存の方法では動的にオクルージョンされた領域を完成させることができません。
我々は、オムニマット問題に対処するための新しい生成レイヤードビデオ分解フレームワークを提案します。
私たちの方法は、静止したシーンを想定しておらず、カメラのポーズや深度情報も必要とせず、遮蔽された動的領域の説得力のある完成を含む、クリーンで完全なレイヤーを生成します。
私たちの中心的なアイデアは、ビデオ拡散モデルをトレーニングして、特定のオブジェクトによって引き起こされるシーン効果を識別して除去することです。
このモデルは、慎重に厳選された小規模なデータセットを使用して既存のビデオ修復モデルから微調整できることを示し、ソフト シャドウ、光沢のある反射、水しぶき、
もっと。

要約(オリジナル)

Given a video and a set of input object masks, an omnimatte method aims to decompose the video into semantically meaningful layers containing individual objects along with their associated effects, such as shadows and reflections. Existing omnimatte methods assume a static background or accurate pose and depth estimation and produce poor decompositions when these assumptions are violated. Furthermore, due to the lack of generative prior on natural videos, existing methods cannot complete dynamic occluded regions. We present a novel generative layered video decomposition framework to address the omnimatte problem. Our method does not assume a stationary scene or require camera pose or depth information and produces clean, complete layers, including convincing completions of occluded dynamic regions. Our core idea is to train a video diffusion model to identify and remove scene effects caused by a specific object. We show that this model can be finetuned from an existing video inpainting model with a small, carefully curated dataset, and demonstrate high-quality decompositions and editing results for a wide range of casually captured videos containing soft shadows, glossy reflections, splashing water, and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google