VAIR: Visuo-Acoustic Implicit Representations for Low-Cost, Multi-Modal Transparent Surface Reconstruction in Indoor Scenes

要約

屋内で動作する移動ロボットは、透明な表面を含む困難なシーンをナビゲートできるように準備する必要があります。
この論文では、暗黙的なニューラル表現を介して音響および視覚センシングモダリティを融合し、屋内シーンの透明な表面の緻密な再構築を可能にする新しい方法を提案します。
私たちは、生成潜在最適化を活用して、透明な表面で構成される屋内シーンの暗黙的な表現を学習する新しいモデルを提案します。
暗黙的表現をクエリして、画像空間でのボリューム レンダリングや、透明な表面予測による 3D ジオメトリの再構築 (点群またはメッシュ) を可能にすることを示します。
私たちは、RGB-D カメラと超音波センサーを備えたカスタムの低コストセンシング プラットフォームを使用して収集された新しいデータセットに対して、手法の有効性を定性的および定量的に評価します。
私たちの方法は、透明な表面の再構成に関して最先端技術に比べて大幅な改善を示しています。

要約(オリジナル)

Mobile robots operating indoors must be prepared to navigate challenging scenes that contain transparent surfaces. This paper proposes a novel method for the fusion of acoustic and visual sensing modalities through implicit neural representations to enable dense reconstruction of transparent surfaces in indoor scenes. We propose a novel model that leverages generative latent optimization to learn an implicit representation of indoor scenes consisting of transparent surfaces. We demonstrate that we can query the implicit representation to enable volumetric rendering in image space or 3D geometry reconstruction (point clouds or mesh) with transparent surface prediction. We evaluate our method’s effectiveness qualitatively and quantitatively on a new dataset collected using a custom, low-cost sensing platform featuring RGB-D cameras and ultrasonic sensors. Our method exhibits significant improvement over state-of-the-art for transparent surface reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google