AONeuS: A Neural Rendering Framework for Acoustic-Optical Sensor Fusion

要約

水中での知覚と3D表面の再構築は、建設、セキュリティ、海洋考古学、環境モニタリングなど、幅広い用途に応用できる難しい問題である。潜水艇は、危険な動作条件、壊れやすい環境、限られた航行制御のため、その可動範囲が制限されることが多く、その結果、測定値を取得できるベースラインも制限されます。3Dシーンの再構成では、ベースラインが小さいほど再構成が困難になることはよく知られている。我々の研究では、高解像度のRGB測定と低解像度の深度分解イメージングソナー測定を効果的に統合できる、物理ベースのマルチモーダル音響光学神経表面再構成フレームワーク（AONeuS）を開発した。これらの相補的なモダリティを融合することで、我々のフレームワークは、大きく制限されたベースライン上で捕捉された測定値から正確な高解像度3D表面を再構成することができる。広範なシミュレーションと実験室内での実験を通じて、AONeuSが最近のRGBのみやソナーのみの逆微分レンダリングに基づく表面再構成法を劇的に上回ることを実証する。本論文の結果を視覚化したウェブサイトは次のアドレスにあります： https://aoneus.github.io/

要約(オリジナル)

Underwater perception and 3D surface reconstruction are challenging problems with broad applications in construction, security, marine archaeology, and environmental monitoring. Treacherous operating conditions, fragile surroundings, and limited navigation control often dictate that submersibles restrict their range of motion and, thus, the baseline over which they can capture measurements. In the context of 3D scene reconstruction, it is well-known that smaller baselines make reconstruction more challenging. Our work develops a physics-based multimodal acoustic-optical neural surface reconstruction framework (AONeuS) capable of effectively integrating high-resolution RGB measurements with low-resolution depth-resolved imaging sonar measurements. By fusing these complementary modalities, our framework can reconstruct accurate high-resolution 3D surfaces from measurements captured over heavily-restricted baselines. Through extensive simulations and in-lab experiments, we demonstrate that AONeuS dramatically outperforms recent RGB-only and sonar-only inverse-differentiable-rendering–based surface reconstruction methods. A website visualizing the results of our paper is located at this address: https://aoneus.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL