AONeuS: A Neural Rendering Framework for Acoustic-Optical Sensor Fusion

要約

水中認識と 3D 表面再構成は、建設、セキュリティ、海洋考古学、環境モニタリングなどの幅広い用途に関わる困難な問題です。
危険な操作条件、脆弱な環境、限られた航行制御により、潜水艦の可動範囲が制限されることが多く、その結果、測定値を取得できるベースラインが制限されます。
3D シーンの再構築のコンテキストでは、ベースラインが小さいほど再構築が難しくなることがよく知られています。
私たちの研究では、高解像度の RGB 測定と低解像度の深度分解イメージングソナー測定を効果的に統合できる、物理ベースのマルチモーダル音響光学神経表面再構成フレームワーク (AONeuS) を開発しています。
これらの相補的なモダリティを融合することで、私たちのフレームワークは、厳しく制限されたベースライン上でキャプチャされた測定値から正確な高解像度 3D 表面を再構築できます。
広範なシミュレーションと実験室での実験を通じて、AONeuS が最近の RGB のみおよびソナーのみの逆微分可能レンダリングに基づく表面再構成手法よりも劇的に優れていることを実証しました。
私たちの論文の結果を視覚化した Web サイトは、次のアドレスにあります: https://aoneus.github.io/

要約(オリジナル)

Underwater perception and 3D surface reconstruction are challenging problems with broad applications in construction, security, marine archaeology, and environmental monitoring. Treacherous operating conditions, fragile surroundings, and limited navigation control often dictate that submersibles restrict their range of motion and, thus, the baseline over which they can capture measurements. In the context of 3D scene reconstruction, it is well-known that smaller baselines make reconstruction more challenging. Our work develops a physics-based multimodal acoustic-optical neural surface reconstruction framework (AONeuS) capable of effectively integrating high-resolution RGB measurements with low-resolution depth-resolved imaging sonar measurements. By fusing these complementary modalities, our framework can reconstruct accurate high-resolution 3D surfaces from measurements captured over heavily-restricted baselines. Through extensive simulations and in-lab experiments, we demonstrate that AONeuS dramatically outperforms recent RGB-only and sonar-only inverse-differentiable-rendering–based surface reconstruction methods. A website visualizing the results of our paper is located at this address: https://aoneus.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google