SSR-2D: Semantic 3D Scene Reconstruction from 2D Images

要約

タイトル：SSR-2D：2D画像からの意味的な3Dシーン再構成

要約：

– 従来の3D空間の包括的な意味モデリングは、高価な3Dドメイン内の密な注釈が必要であったが、本研究では、3D注釈を使用せずに、意味的なシーン再構成の中心的な3Dシーンモデリングタスクを探求している。
– アプローチの主なアイデアは、不完全な3D再構築とそれらに対応するソースRGB-D画像の両方を使用し、ドメイン間特徴を体積の埋め込みに融合させて、2Dラベリングのみで完全な3Dジオメトリ、カラー、意味を予測する訓練可能なモデルを設計することである。
– そのキー技術的なイノベーションは、観測されたRGB画像と2Dセマンティクスをそれぞれ監視することによって、色と意味の差動レンダリングを利用し、2D観測と不明な3D空間を橋渡しすることである。
– 不完全な予測された2Dラベルから学習するための学習パイプラインとそれに対応する方法を開発することで、追加の仮想トレーニングビューの拡張セットを合成することにより、より効率的なセマンティクスのための自己監視ループを可能にする。
– 本研究では、3Dグラウンドトゥルース情報に頼らない、制限されたRGB-D画像からジオメトリ完成、カラーライゼーション、および意味的なマッピングを共同してアドレスするエンドツーエンドの訓練可能なソリューションを提案する。
– 本手法は、2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetのセマンティックシーン再構成の最先端のパフォーマンスを達成し、高価な3D注釈を必要とするベースラインを超えている。また、我々の手法は、リアルワールドの3Dスキャンの補完と意味的分割を取り上げた最初の2D駆動の方法である。

要約(オリジナル)

Most deep learning approaches to comprehensive semantic modeling of 3D indoor spaces require costly dense annotations in the 3D domain. In this work, we explore a central 3D scene modeling task, namely, semantic scene reconstruction without using any 3D annotations. The key idea of our approach is to design a trainable model that employs both incomplete 3D reconstructions and their corresponding source RGB-D images, fusing cross-domain features into volumetric embeddings to predict complete 3D geometry, color, and semantics with only 2D labeling which can be either manual or machine-generated. Our key technical innovation is to leverage differentiable rendering of color and semantics to bridge 2D observations and unknown 3D space, using the observed RGB images and 2D semantics as supervision, respectively. We additionally develop a learning pipeline and corresponding method to enable learning from imperfect predicted 2D labels, which could be additionally acquired by synthesizing in an augmented set of virtual training views complementing the original real captures, enabling more efficient self-supervision loop for semantics. In this work, we propose an end-to-end trainable solution jointly addressing geometry completion, colorization, and semantic mapping from limited RGB-D images, without relying on any 3D ground-truth information. Our method achieves state-of-the-art performance of semantic scene reconstruction on two large-scale benchmark datasets MatterPort3D and ScanNet, surpasses baselines even with costly 3D annotations. To our knowledge, our method is also the first 2D-driven method addressing completion and semantic segmentation of real-world 3D scans.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI