CoStruction: Conjoint radiance field optimization for urban scene reconStruction with limited image overlap

要約

記録された運転シーケンスから周囲の表面ジオメトリを再構築することは、都市環境の限られた画像の重複と複雑なトポロジーにより、重大な課題を引き起こします。
SoTA ニューラル暗黙的表面再構成手法は、このような環境ではしばしば困難を伴い、視覚の重複が小さいために失敗するか、表面と微細構造の両方を正確に再構成する際に最適以下のパフォーマンスを示すかのいずれかになります。
これらの制限に対処するために、カメラのオーバーラップが制限された大規模な運転シーケンスに合わせた新しいハイブリッド陰的表面再構成手法である CoStruction を導入します。
CoStruction は、相互表現の不確実性推定を利用して、限られた観測によって引き起こされるあいまいなジオメトリを除外します。
私たちの方法は、ガイド付きサンプリングに加えて両方の放射フィールドの共同最適化を実行し、複雑な都市シナリオで微細な構造物とともに大面積の正確な再構築を実現します。
主要な運転データセットに対する広範な評価により、画像のオーバーラップを制限して大規模な運転シーケンスを再構築する際の私たちのアプローチの優位性が実証され、同時実行の SoTA 手法を上回ります。

要約(オリジナル)

Reconstructing the surrounding surface geometry from recorded driving sequences poses a significant challenge due to the limited image overlap and complex topology of urban environments. SoTA neural implicit surface reconstruction methods often struggle in such setting, either failing due to small vision overlap or exhibiting suboptimal performance in accurately reconstructing both the surface and fine structures. To address these limitations, we introduce CoStruction, a novel hybrid implicit surface reconstruction method tailored for large driving sequences with limited camera overlap. CoStruction leverages cross-representation uncertainty estimation to filter out ambiguous geometry caused by limited observations. Our method performs joint optimization of both radiance fields in addition to guided sampling achieving accurate reconstruction of large areas along with fine structures in complex urban scenarios. Extensive evaluation on major driving datasets demonstrates the superiority of our approach in reconstructing large driving sequences with limited image overlap, outperforming concurrent SoTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google