Generative Omnimatte: Learning to Decompose Video into Layers

要約

ビデオと入力オブジェクトマスクのセットを考えると、Omnimatteメソッドは、ビデオを、影や反射などの関連する効果とともに、個々のオブジェクトを含む意味的に意味のあるレイヤーに分解することを目的としています。
既存のオムニマッテ法は、静的な背景または正確なポーズと深さの推定を想定し、これらの仮定が違反した場合に不十分な分解を引き起こします。
さらに、自然な動画には生成的な事前の生成が不足しているため、既存の方法は動的に閉塞された領域を完成させることはできません。
オムニマッテの問題に対処するために、新しい生成層状ビデオ分解フレームワークを提示します。
私たちの方法は、固定シーンを想定していないか、カメラのポーズや深さ情報を必要とし、閉塞された動的領域の説得力のある完成を含む、きれいで完全な層を生成します。
私たちの核となるアイデアは、ビデオ拡散モデルをトレーニングして、特定のオブジェクトによって引き起こされるシーン効果を識別および削除することです。
このモデルは、小さく慎重にキュレーションされたデータセットを使用して、既存のビデオの入力モデルから微調整できることを示し、柔らかい影、光沢のある反射、スプラッシュ水などを含む幅広いカジュアルにキャプチャされたビデオの高品質の分解と編集結果を示します。

要約(オリジナル)

Given a video and a set of input object masks, an omnimatte method aims to decompose the video into semantically meaningful layers containing individual objects along with their associated effects, such as shadows and reflections. Existing omnimatte methods assume a static background or accurate pose and depth estimation and produce poor decompositions when these assumptions are violated. Furthermore, due to the lack of generative prior on natural videos, existing methods cannot complete dynamic occluded regions. We present a novel generative layered video decomposition framework to address the omnimatte problem. Our method does not assume a stationary scene or require camera pose or depth information and produces clean, complete layers, including convincing completions of occluded dynamic regions. Our core idea is to train a video diffusion model to identify and remove scene effects caused by a specific object. We show that this model can be finetuned from an existing video inpainting model with a small, carefully curated dataset, and demonstrate high-quality decompositions and editing results for a wide range of casually captured videos containing soft shadows, glossy reflections, splashing water, and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google