Depth-SIMS: Semi-Parametric Image and Depth Synthesis

要約

この論文では、RGBキャンバスを高品質のRGB画像に変換し、スパース深度マップをピクセル単位に変換するインペインティングネットワークと組み合わせて、適切に位置合わせされたセグメンテーションマップとスパース深度マップを備えたRGBキャンバスを生成する合成画像合成方法を紹介します。
密な深度マップ。
構造アラインメントと画質の観点からこの方法のベンチマークを行い、SOTAよりもmIoUが3.7パーセントポイント増加し、非常に競争力のあるFIDを示しています。
さらに、生成されたデータの品質をセマンティックセグメンテーションと深度補完のトレーニングデータとして分析し、私たちのアプローチが他の方法よりもこの目的に適していることを示します。

要約(オリジナル)

In this paper we present a compositing image synthesis method that generates RGB canvases with well aligned segmentation maps and sparse depth maps, coupled with an in-painting network that transforms the RGB canvases into high quality RGB images and the sparse depth maps into pixel-wise dense depth maps. We benchmark our method in terms of structural alignment and image quality, showing an increase in mIoU over SOTA by 3.7 percentage points and a highly competitive FID. Furthermore, we analyse the quality of the generated data as training data for semantic segmentation and depth completion, and show that our approach is more suited for this purpose than other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google