Online 3D Scene Reconstruction Using Neural Object Priors

要約

このペーパーでは、RGB-Dビデオシーケンスが与えられたオブジェクトのレベルでオンラインでシーンを再構築する問題について説明します。
現在のオブジェクトを認識している神経暗黙の表現は有望ですが、オンライン再構成の効率と形状の完成において制限されています。
上記の制限を軽減するための私たちの主な貢献は2つあります。
まず、新しいオブジェクトパーツが明らかにされたときにグリッドベースのオブジェクト中心の神経暗黙的表現を継続的に更新するための特徴グリッド補間メカニズムを提案します。
第二に、以前にマップされたオブジェクトを事前にマッピングしたオブジェクトライブラリを構築し、対応する形状のプライアーを活用して新しいビデオで幾何学的オブジェクトモデルを初期化し、その後、新しいビューと合成された過去のビューでそれらを完成させて、元のオブジェクトの詳細を失わないようにします。
レプリカデータセット、現実世界のスキャネットシーケンス、および私たちの研究室で撮影されたビデオからの合成環境に関する広範な実験は、このアプローチが再構成の精度と完全性の観点からこのタスクの最先端の神経暗黙モデルを上回ることを示しています。

要約(オリジナル)

This paper addresses the problem of reconstructing a scene online at the level of objects given an RGB-D video sequence. While current object-aware neural implicit representations hold promise, they are limited in online reconstruction efficiency and shape completion. Our main contributions to alleviate the above limitations are twofold. First, we propose a feature grid interpolation mechanism to continuously update grid-based object-centric neural implicit representations as new object parts are revealed. Second, we construct an object library with previously mapped objects in advance and leverage the corresponding shape priors to initialize geometric object models in new videos, subsequently completing them with novel views as well as synthesized past views to avoid losing original object details. Extensive experiments on synthetic environments from the Replica dataset, real-world ScanNet sequences and videos captured in our laboratory demonstrate that our approach outperforms state-of-the-art neural implicit models for this task in terms of reconstruction accuracy and completeness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google