SceneFactory: A Workflow-centric and Unified Framework for Incremental Scene Modeling

要約

インクリメンタルシーンモデリングのためのワークフロー中心の統合フレームワークであるSceneFactoryを提示します。これは、（ポーズなしおよび/または非協調化されていない）マルチビュー深度推定、LIDAR完成、（密な）RGB-D/RGB-L/MONO/DEPTY RECONSTRUCTION、SLAMなどの幅広いアプリケーションを便利にサポートします。
ワークフロー中心の設計では、さまざまな生産ラインを構築するための基礎として複数のブロックを使用します。
サポートされているアプリケーション、つまり、プロダクションは設計の冗長性を避けます。
したがって、独立した拡張のために、各ブロック自体に焦点が置かれます。
すべての入力の組み合わせをサポートするために、実装は、（1）追跡、（2）屈曲、（3）深度推定、および（4）シーンの再構築を形成する4つのビルディングブロックで構成されています。
追跡ブロックはモノスラムに基づいており、RGB-DおよびRGBライダー（RGB-L）入力をサポートするために拡張されています。
屈曲は、深さ画像（追跡不能）を追跡可能な画像に変換するために使用されます。
汎用の深さ推定のために、密な幾何学を推定するために、位置付けられていないマルチビュー深度推定モデル（U $^2 $ -MVD）を提案します。
u $^2 $ -MVDは、ポーズ、内因性、逆深さを解決するために、密なバンドル調整を悪用します。
次に、マルチビューの深さを完了するために、セマンティック認識Scalecovステップが導入されます。
U $^2 $ -MVDに依存すると、SceneFactoryは両方ともユーザーフレンドリーな3D作成（画像だけで）をサポートし、密なRGB-Dと密なモノのアプリケーションをブリッジします。
高品質の表面と色の再構築については、最初の表面アクセス可能な表面カラーフィールドデザインのデュアルパス多溶液ニューラルポイント（DM-NP）を提案します。ここでは、ポイントクラウドベースの表面クエリに改良点ラスター化（IPR）を導入します。
…

要約(オリジナル)

We present SceneFactory, a workflow-centric and unified framework for incremental scene modeling, that conveniently supports a wide range of applications, such as (unposed and/or uncalibrated) multi-view depth estimation, LiDAR completion, (dense) RGB-D/RGB-L/Mono/Depth-only reconstruction and SLAM. The workflow-centric design uses multiple blocks as the basis for constructing different production lines. The supported applications, i.e., productions avoid redundancy in their designs. Thus, the focus is placed on each block itself for independent expansion. To support all input combinations, our implementation consists of four building blocks that form SceneFactory: (1) tracking, (2) flexion, (3) depth estimation, and (4) scene reconstruction. The tracking block is based on Mono SLAM and is extended to support RGB-D and RGB-LiDAR (RGB-L) inputs. Flexion is used to convert the depth image (untrackable) into a trackable image. For general-purpose depth estimation, we propose an unposed \& uncalibrated multi-view depth estimation model (U$^2$-MVD) to estimate dense geometry. U$^2$-MVD exploits dense bundle adjustment to solve for poses, intrinsics, and inverse depth. A semantic-aware ScaleCov step is then introduced to complete the multi-view depth. Relying on U$^2$-MVD, SceneFactory both supports user-friendly 3D creation (with just images) and bridges the applications of Dense RGB-D and Dense Mono. For high-quality surface and color reconstruction, we propose Dual-purpose Multi-resolutional Neural Points (DM-NPs) for the first surface accessible Surface Color Field design, where we introduce Improved Point Rasterization (IPR) for point cloud based surface query. …

arxiv情報

提供元, 利用サービス

arxiv.jp, Google