$ν$-DBA: Neural Implicit Dense Bundle Adjustment Enables Image-Only Driving Scene Reconstruction

要約

センサー軌道と 3D マップの共同最適化は、自動運転に不可欠なバンドル調整 (BA) の重要な特性です。
この論文では、マップ パラメータ化に 3D ニューラル インプリシット サーフェスを使用した幾何学的密バンドル調整 (DBA) を実装する新しいフレームワークである $\nu$-DBA を紹介します。これは、密オプティカル フロー予測によって導かれた幾何エラーを使用して、マップ サーフェスと軌道ポーズの両方を最適化します。
さらに、シーンごとの自己監視を使用してオプティカル フロー モデルを微調整し、高密度マッピングの品質をさらに向上させます。
複数の運転シーンのデータセットに対する実験結果は、私たちの方法が優れた軌道最適化と緻密な再構成精度を達成することを実証しています。
また、測光誤差とさまざまな神経幾何学的事前分布が表面再構成と新しいビュー合成のパフォーマンスに及ぼす影響も調査します。
私たちの方法は、より正確な軌道と詳細な環境マッピングのための高密度バンドル調整におけるニューラル暗黙的表現の活用に向けた重要な一歩となります。

要約(オリジナル)

The joint optimization of the sensor trajectory and 3D map is a crucial characteristic of bundle adjustment (BA), essential for autonomous driving. This paper presents $\nu$-DBA, a novel framework implementing geometric dense bundle adjustment (DBA) using 3D neural implicit surfaces for map parametrization, which optimizes both the map surface and trajectory poses using geometric error guided by dense optical flow prediction. Additionally, we fine-tune the optical flow model with per-scene self-supervision to further improve the quality of the dense mapping. Our experimental results on multiple driving scene datasets demonstrate that our method achieves superior trajectory optimization and dense reconstruction accuracy. We also investigate the influences of photometric error and different neural geometric priors on the performance of surface reconstruction and novel view synthesis. Our method stands as a significant step towards leveraging neural implicit representations in dense bundle adjustment for more accurate trajectories and detailed environmental mapping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google