SCILLA: SurfaCe Implicit Learning for Large Urban Area, a volumetric hybrid solution

要約

最近、ニューラル陰的表面表現法により、印象的な 3D 再構成結果が示されました。
ただし、既存のソリューションは、大規模で境界がなく、非常に詳細な性質があるため、都市の屋外シーンを再構築するのに苦労しています。
したがって、正確な再構成を実現するには、LiDAR などの追加の監視データ、強力な幾何学的事前分布、および長いトレーニング時間が必要です。
このような問題に取り組むために、2D 画像から大規模な運転シーンを再構成するための新しいハイブリッド陰的表面学習手法である SCILLA を紹介します。
SCILLA のハイブリッド アーキテクチャは、2 つの個別の暗黙的フィールドをモデル化します。1 つは体積密度用、もう 1 つは表面までの符号付き距離用です。
都市の屋外シナリオを正確に表現するために、自己教師ありの確率的密度推定に依存して表面近くの点をサンプルし、体積表現から表面表現に段階的に移行する新しいボリューム レンダリング戦略を導入します。
私たちのソリューションでは、同時実行の方法と比較して、シーン上の幾何学的な要素に依存することなく、符号付き距離フィールドを適切かつ高速に初期化できます。
4 つの屋外運転データセットに対して広範な実験を実施することで、SCILLA がさまざまな都市シナリオで正確かつ詳細な 3D サーフェス シーン表現を学習できると同時に、以前の最先端のソリューションと比較して 2 倍高速にトレーニングできることを示しました。

要約(オリジナル)

Neural implicit surface representation methods have recently shown impressive 3D reconstruction results. However, existing solutions struggle to reconstruct urban outdoor scenes due to their large, unbounded, and highly detailed nature. Hence, to achieve accurate reconstructions, additional supervision data such as LiDAR, strong geometric priors, and long training times are required. To tackle such issues, we present SCILLA, a new hybrid implicit surface learning method to reconstruct large driving scenes from 2D images. SCILLA’s hybrid architecture models two separate implicit fields: one for the volumetric density and another for the signed distance to the surface. To accurately represent urban outdoor scenarios, we introduce a novel volume-rendering strategy that relies on self-supervised probabilistic density estimation to sample points near the surface and transition progressively from volumetric to surface representation. Our solution permits a proper and fast initialization of the signed distance field without relying on any geometric prior on the scene, compared to concurrent methods. By conducting extensive experiments on four outdoor driving datasets, we show that SCILLA can learn an accurate and detailed 3D surface scene representation in various urban scenarios while being two times faster to train compared to previous state-of-the-art solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google