Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion

要約

微分可能な3Dガウシアンスプラッティング（GS）は、3Dシーンを再構成するためのコンピュータビジョンとグラフィックスにおける著名な技術として台頭してきている。GSはシーンを様々な不透明度を持つ3Dガウシアンの集合として表現し、様々な視点から撮影されたシーン画像から3Dガウシアンパラメータを計算するために、解析的導関数と共に計算効率の良いスプラッティング操作を用いる。残念ながら、サラウンドビュー（360^{circ}$視点）画像のキャプチャは、水中イメージング、建物内の部屋、自律航法など、多くの実世界のイメージングシナリオでは不可能か非現実的である。このような制限されたベースラインイメージングシナリオにおいて、GSアルゴリズムは、よく知られた「ミッシングコーン（missing cone）」問題に悩まされ、その結果、奥行き軸に沿った再構成がうまくいかない。この原稿では、（ソナーからの）過渡データを使用することで、深度軸に沿って高周波データをサンプリングすることにより、ミッシングコーン問題に対処できることを示す。一般的に使用される2つのソナー用にガウススプラッティングアルゴリズムを拡張し、RGBカメラデータとソナーデータを同時に利用するフュージョンアルゴリズムを提案する。様々なイメージングシナリオにおけるシミュレーション、エミュレーション、ハードウェア実験を通して、提案する融合アルゴリズムが著しく優れた新規ビュー合成（PSNRで5dB改善）と3D形状再構成（60％低い面取り距離）につながることを示す。

要約(オリジナル)

Differentiable 3D-Gaussian splatting (GS) is emerging as a prominent technique in computer vision and graphics for reconstructing 3D scenes. GS represents a scene as a set of 3D Gaussians with varying opacities and employs a computationally efficient splatting operation along with analytical derivatives to compute the 3D Gaussian parameters given scene images captured from various viewpoints. Unfortunately, capturing surround view ($360^{\circ}$ viewpoint) images is impossible or impractical in many real-world imaging scenarios, including underwater imaging, rooms inside a building, and autonomous navigation. In these restricted baseline imaging scenarios, the GS algorithm suffers from a well-known ‘missing cone’ problem, which results in poor reconstruction along the depth axis. In this manuscript, we demonstrate that using transient data (from sonars) allows us to address the missing cone problem by sampling high-frequency data along the depth axis. We extend the Gaussian splatting algorithms for two commonly used sonars and propose fusion algorithms that simultaneously utilize RGB camera data and sonar data. Through simulations, emulations, and hardware experiments across various imaging scenarios, we show that the proposed fusion algorithms lead to significantly better novel view synthesis (5 dB improvement in PSNR) and 3D geometry reconstruction (60% lower Chamfer distance).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL