Gen3DSR: Generalizable 3D Scene Reconstruction via Divide and Conquer from a Single View

要約

シングルビュー3D再構成は現在、2つの支配的な観点からアプローチされています。3Dデータ監視を使用した多様性が限られているシーンの再構築または大きな画像プライアーを使用した多様な特異オブジェクトの再構築。
ただし、実際のシナリオははるかに複雑であり、これらのメソッドの機能を超えています。
したがって、格差戦略に従ってハイブリッド方法を提案します。
まず、シーンを全体的に処理し、深さ情報とセマンティック情報を抽出し、個々のコンポーネントの詳細な再構築のためにオブジェクトレベルの方法を活用します。
問題をよりシンプルなタスクに分割することにより、システムは再訓練や微調整なしでさまざまな種類のシーンに一般化することができます。
私たちは、システム全体のエンドツーエンドトレーニングの必要性を回避するために、独立した自己完結型モジュールで高度にモジュール式になるようにパイプラインを意図的に設計します。
これにより、将来の方法が個々のモジュールを置き換えることができるため、パイプラインが自然に改善できます。
合成シーンと現実世界の両方のシーンでのアプローチの再構築パフォーマンスを実証し、以前の作品と有利なことを比較します。
プロジェクトページ：https：//andreeadogaru.github.io/gen3dsr

要約(オリジナル)

Single-view 3D reconstruction is currently approached from two dominant perspectives: reconstruction of scenes with limited diversity using 3D data supervision or reconstruction of diverse singular objects using large image priors. However, real-world scenarios are far more complex and exceed the capabilities of these methods. We therefore propose a hybrid method following a divide-and-conquer strategy. We first process the scene holistically, extracting depth and semantic information, and then leverage an object-level method for the detailed reconstruction of individual components. By splitting the problem into simpler tasks, our system is able to generalize to various types of scenes without retraining or fine-tuning. We purposely design our pipeline to be highly modular with independent, self-contained modules, to avoid the need for end-to-end training of the whole system. This enables the pipeline to naturally improve as future methods can replace the individual modules. We demonstrate the reconstruction performance of our approach on both synthetic and real-world scenes, comparing favorable against prior works. Project page: https://andreeadogaru.github.io/Gen3DSR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google