dugMatting: Decomposed-Uncertainty-Guided Matting

要約

画像マットとして知られるオブジェクトの切り出しとその不透明度マスクの推定は、画像やビデオ編集における重要なタスクである。非常に ill-posed な問題のため、不確実性を減らすために、通常、ユーザー定義のトリマップやスクリブルなどの追加入力が必要である。効果的ではあるが、時間がかかるか、ストロークをどこに配置すればよいかを知っている経験豊富なユーザーにしか適さないというのが現状である。本研究では、明示的に分解された不確実性を探索し、効率的かつ効果的に結果を改善する分解不確実性誘導マット（dugMatting）アルゴリズムを提案する。これらの不確実性の特徴に基づき、エピステミックな不確実性は、相互作用を導くプロセス（これは事前知識を導入する）において低減され、アレアトリックな不確実性は、データ分布のモデル化（これはデータと可能なノイズの両方の統計量を導入する）において低減されます。提案するマッティングフレームワークは、シンプルで効率的なラベリングにより、ユーザがインタラクション領域を決定する必要をなくすことができる。広範な定量的・定性的な結果から、提案手法は効率と有効性の両面でオリジナルのマット化アルゴリズムを大幅に改善することが検証された。

要約(オリジナル)

Cutting out an object and estimating its opacity mask, known as image matting, is a key task in image and video editing. Due to the highly ill-posed issue, additional inputs, typically user-defined trimaps or scribbles, are usually needed to reduce the uncertainty. Although effective, it is either time consuming or only suitable for experienced users who know where to place the strokes. In this work, we propose a decomposed-uncertainty-guided matting (dugMatting) algorithm, which explores the explicitly decomposed uncertainties to efficiently and effectively improve the results. Basing on the characteristic of these uncertainties, the epistemic uncertainty is reduced in the process of guiding interaction (which introduces prior knowledge), while the aleatoric uncertainty is reduced in modeling data distribution (which introduces statistics for both data and possible noise). The proposed matting framework relieves the requirement for users to determine the interaction areas by using simple and efficient labeling. Extensively quantitative and qualitative results validate that the proposed method significantly improves the original matting algorithms in terms of both efficiency and efficacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL