SceneFactory: A Workflow-centric and Unified Framework for Incremental Scene Modeling

要約

私たちは、インクリメンタル シーン モデリングのためのワークフロー中心の統合フレームワークである SceneFactory を紹介します。これは、(ポーズなしおよび/または未キャリブレーションの) マルチビュー深度推定、LiDAR 補完、(高密度) RGB-D などの幅広いアプリケーションを便利にサポートします。
RGB-L/Mono//Depth のみの再構築と SLAM。
ワークフロー中心の設計では、さまざまな生産ラインを構築するための基礎として複数のブロックが使用されます。
サポートされているアプリケーション、つまりプロダクションでは、設計の冗長性が回避されます。
したがって、独立した拡張の各ブロック自体に焦点が当てられます。
すべての入力の組み合わせをサポートするために、実装は、SceneFactory の 4 つの構成要素 (1) Mono-SLAM、(2) 深度推定、(3) 屈曲、および (4) シーン再構築で構成されています。
さらに、密な幾何学形状を推定するために、ポーズ未校正のマルチビュー深度推定モデル (U2-MVD) を提案します。
U2-MVD は、ポーズ、内部関数、および逆深度を解決するために高密度バンドル調整を利用します。
次に、セマンティックを意識した ScaleCov ステップが導入され、マルチビューの深度が完成します。
U2-MVD に依存する SceneFactory は、ユーザーフレンドリーな 3D 作成 (画像のみ) をサポートし、Dense RGB-D と Dense Mono のアプリケーションの橋渡しをします。
高品質のサーフェスとカラーの再構成のために、最初のサーフェスにアクセス可能なサーフェス カラー フィールド設計に対して、専用の多重解像度ニューラル ポイント (DM-NP) を提案します。そこでは、点群ベースのサーフェス クエリに改良型ポイント ラスタライゼーション (IPR) を導入します。
SceneFactory を実装して実験し、その幅広い実用性と高い柔軟性を実証します。
その品質は、すべてのタスクにおいて密接に結合された最先端のアプローチと競合またはそれを上回っています。
コードをコミュニティ (https://jarrome.github.io/) に提供します。

要約(オリジナル)

We present SceneFactory, a workflow-centric and unified framework for incremental scene modeling, that supports conveniently a wide range of applications, such as (unposed and/or uncalibrated) multi-view depth estimation, LiDAR completion, (dense) RGB-D/RGB-L/Mono//Depth-only reconstruction and SLAM. The workflow-centric design uses multiple blocks as the basis for building different production lines. The supported applications, i.e., productions avoid redundancy in their designs. Thus, the focus is on each block itself for independent expansion. To support all input combinations, our implementation consists of four building blocks in SceneFactory: (1) Mono-SLAM, (2) depth estimation, (3) flexion and (4) scene reconstruction. Furthermore, we propose an unposed & uncalibrated multi-view depth estimation model (U2-MVD) to estimate dense geometry. U2-MVD exploits dense bundle adjustment for solving for poses, intrinsics, and inverse depth. Then a semantic-awared ScaleCov step is introduced to complete the multi-view depth. Relying on U2-MVD, SceneFactory both supports user-friendly 3D creation (with just images) and bridges the applications of Dense RGB-D and Dense Mono. For high quality surface and color reconstruction, we propose due-purpose Multi-resolutional Neural Points (DM-NPs) for the first surface accessible Surface Color Field design, where we introduce Improved Point Rasterization (IPR) for point cloud based surface query. We implement and experiment with SceneFactory to demonstrate its broad practicability and high flexibility. Its quality also competes or exceeds the tightly-coupled state of the art approaches in all tasks. We contribute the code to the community (https://jarrome.github.io/).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google