Color-aware Deep Temporal Backdrop Duplex Matting System

要約

ディープラーニングに基づくアルファマット処理は、近年目覚ましい進歩を遂げていますが、長編映画制作スタジオでは、コストのかかるポストプロダクション工程を含む古典的なクロマキーイングに依然として頼っています。このような矛盾は、特に前景色推定や色ずれ補正など、アルファマッティングコミュニティで現在適切に対処されていない、制作に必要ないくつかのミッシングリンクによって説明することができます。我々は、クロマキーイングとアルファマットから有益な機能を組み合わせた、ニューラルネットワークベースの時間的マルチバックドロップ制作システムを提案します。背景色が異なる2つの連続したフレームが与えられたとき、我々の1エンコーダ-2デコーダネットワークは、パッチベースのオーバーラップ-ブレンドアプローチを用いて前景色とアルファ値を予測する。このシステムは、不正確な背景、動的なカメラ、動的な前景を扱うことができ、前景色に対する制限もない。ベンチマークデータセットとデモセットアップで撮影されたビデオシーケンスを用いて、本手法を最先端のアルゴリズムと比較する。二重背景入力が、通常適用されるトリマップベースのアプローチより優れていることを確認する。さらに、提案するスタジオセットは役者に優しく、高品質で時間的に一貫性のあるアルファと色の推定を行い、優れた色こぼれ補正を行うことが可能である。

要約(オリジナル)

Deep learning-based alpha matting showed tremendous improvements in recent years, yet, feature film production studios still rely on classical chroma keying including costly post-production steps. This perceived discrepancy can be explained by some missing links necessary for production which are currently not adequately addressed in the alpha matting community, in particular foreground color estimation or color spill compensation. We propose a neural network-based temporal multi-backdrop production system that combines beneficial features from chroma keying and alpha matting. Given two consecutive frames with different background colors, our one-encoder-dual-decoder network predicts foreground colors and alpha values using a patch-based overlap-blend approach. The system is able to handle imprecise backdrops, dynamic cameras, and dynamic foregrounds and has no restrictions on foreground colors. We compare our method to state-of-the-art algorithms using benchmark datasets and a video sequence captured by a demonstrator setup. We verify that a dual backdrop input is superior to the usually applied trimap-based approach. In addition, the proposed studio set is actor friendly, and produces high-quality, temporal consistent alpha and color estimations that include a superior color spill compensation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL