Reconstructing Objects in-the-wild for Realistic Sensor Simulation

要約

現実世界のデータからオブジェクトを再構築し、それらを新しいビューでレンダリングすることは、ロボット工学のトレーニングとテストのシミュレーションにリアリズム、多様性、スケールをもたらすために重要です。
この研究では、遠く離れた限られた視点で捕捉されたまばらな自然環境データから正確な幾何学形状と現実的な外観を推定する新しいアプローチである NeuSim を紹介します。
この目標に向けて、物体表面をニューラル符号付き距離関数として表現し、LiDAR とカメラ センサー データの両方を活用して、滑らかで正確なジオメトリと法線を再構築します。
実地データに効果的な、物理学に基づいた堅牢な反射率表現を使用してオブジェクトの外観をモデル化します。
私たちの実験では、NeuSim がトレーニング ビューがまばらな困難なシナリオでも強力なビュー合成パフォーマンスを発揮することを示しています。
さらに、NeuSim アセットを仮想世界に合成し、自動運転知覚モデルを評価するための現実的なマルチセンサー データを生成する方法を紹介します。

要約(オリジナル)

Reconstructing objects from real world data and rendering them at novel views is critical to bringing realism, diversity and scale to simulation for robotics training and testing. In this work, we present NeuSim, a novel approach that estimates accurate geometry and realistic appearance from sparse in-the-wild data captured at distance and at limited viewpoints. Towards this goal, we represent the object surface as a neural signed distance function and leverage both LiDAR and camera sensor data to reconstruct smooth and accurate geometry and normals. We model the object appearance with a robust physics-inspired reflectance representation effective for in-the-wild data. Our experiments show that NeuSim has strong view synthesis performance on challenging scenarios with sparse training views. Furthermore, we showcase composing NeuSim assets into a virtual world and generating realistic multi-sensor data for evaluating self-driving perception models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google