Layered Depth Refinement with Mask Guidance

要約

深度マップは、3DレンダリングからBokehなどの2D画像効果まで、幅広いアプリケーションで使用されている。しかし、単一画像深度推定（SIDE）モデルによって予測される深度マップは、物体の孤立した穴や不正確な境界領域を捉えることができないことが多い。一方、高品質なマスクは、市販の自動マスキングツールやセグメンテーション、マット加工、あるいは手動編集によって容易に入手することができる。そこで、本論文では、SIDEモデルの深度予測を洗練させるために、汎用マスクを利用したマスクガイド深度洗練という新しい問題を定式化する。本フレームワークは、深度マップをマスクと逆マスクに分解し、レイヤーリファインメントとインペインティング/アウトペインティングを実行する。深度とマスクの両方を持つデータセットが少ないため、任意のマスクとRGB-Dデータセットを用いた自己教師付き学習スキームを提案する。本手法は、異なる種類のマスクや初期深度予測に対して頑健であり、マスクの内側と外側の境界領域において正確に深度値を精緻化できることを経験的に示す。さらに、アブレーションの研究で我々のモデルを分析し、実際のアプリケーションで結果を実証する。より詳細な情報は https://sooyekim.github.io/MaskDepth/ でご覧いただけます。

要約(オリジナル)

Depth maps are used in a wide range of applications from 3D rendering to 2D image effects such as Bokeh. However, those predicted by single image depth estimation (SIDE) models often fail to capture isolated holes in objects and/or have inaccurate boundary regions. Meanwhile, high-quality masks are much easier to obtain, using commercial auto-masking tools or off-the-shelf methods of segmentation and matting or even by manual editing. Hence, in this paper, we formulate a novel problem of mask-guided depth refinement that utilizes a generic mask to refine the depth prediction of SIDE models. Our framework performs layered refinement and inpainting/outpainting, decomposing the depth map into two separate layers signified by the mask and the inverse mask. As datasets with both depth and mask annotations are scarce, we propose a self-supervised learning scheme that uses arbitrary masks and RGB-D datasets. We empirically show that our method is robust to different types of masks and initial depth predictions, accurately refining depth values in inner and outer mask boundary regions. We further analyze our model with an ablation study and demonstrate results on real applications. More information can be found at https://sooyekim.github.io/MaskDepth/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL