OmnimatteRF: Robust Omnimatte with 3D Background Modeling

要約

ビデオ マッティングは、何気なく撮影したムービーに興味深い効果を追加したり、ビデオ制作プロフェッショナルを支援したりするまで、幅広い用途があります。
影や反射などの関連効果を伴うマット処理も研究活動の増加を呼び起こしており、関心のある動的な前景オブジェクトを独自のレイヤーに分離するオムニマットのような方法が提案されています。
しかし、従来の作品ではビデオの背景を 2D 画像レイヤーとして表現しており、より複雑なシーンを表現する能力が制限されており、現実世界のビデオへの適用が妨げられていました。
この論文では、動的な 2D 前景レイヤーと 3D 背景モデルを組み合わせた新しいビデオ マッティング手法 OmnimatteRF を提案します。
2D レイヤーは被写体の詳細を保持し、3D 背景は現実世界のビデオのシーンを堅牢に再構築します。
広範な実験により、私たちの方法がさまざまなビデオ上でより良い品質でシーンを再構築することが実証されました。

要約(オリジナル)

Video matting has broad applications, from adding interesting effects to casually captured movies to assisting video production professionals. Matting with associated effects such as shadows and reflections has also attracted increasing research activity, and methods like Omnimatte have been proposed to separate dynamic foreground objects of interest into their own layers. However, prior works represent video backgrounds as 2D image layers, limiting their capacity to express more complicated scenes, thus hindering application to real-world videos. In this paper, we propose a novel video matting method, OmnimatteRF, that combines dynamic 2D foreground layers and a 3D background model. The 2D layers preserve the details of the subjects, while the 3D background robustly reconstructs scenes in real-world videos. Extensive experiments demonstrate that our method reconstructs scenes with better quality on various videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google