RSGaussian:3D Gaussian Splatting with LiDAR for Aerial Remote Sensing Novel View Synthesis

要約

この調査では、RSGaussian を紹介します。これは、LiDAR 点群を制約として 3D ガウス スプラッティング メソッドに組み込む、航空リモート センシング シーン向けの革新的な新しいビュー合成 (NVS) 手法です。これにより、ガウスが幾何学的なベンチマークに沿って成長および分割され、過成長と浮遊物の問題に対処します。
が発生します。
さらに、このアプローチでは、カメラモデルの歪みパラメータを使用した座標変換を導入して、LiDAR 点群と 2D 画像の間のピクセルレベルの位置合わせを実現し、異種データの融合を促進し、航空リモートセンシングに必要な高精度の地理位置合わせを実現します。
深さと平面の一貫性損失は、ガウス分布を実際の深さと平面の表現に導くために損失関数に組み込まれ、深さの推定精度が大幅に向上します。
実験結果は、私たちのアプローチが、航空リモートセンシングデータセットの下で写真のようにリアルな視覚品質と高精度の幾何学的推定のバランスをとった新しいビュー合成を達成したことを示しています。
最後に、私たちは高密度の LiDAR 点群データセットと、対応する航空マルチビュー画像 AIR-LONGYAN も確立し、オープンソース化しました。

要約(オリジナル)

This study presents RSGaussian, an innovative novel view synthesis (NVS) method for aerial remote sensing scenes that incorporate LiDAR point cloud as constraints into the 3D Gaussian Splatting method, which ensures that Gaussians grow and split along geometric benchmarks, addressing the overgrowth and floaters issues occurs. Additionally, the approach introduces coordinate transformations with distortion parameters for camera models to achieve pixel-level alignment between LiDAR point clouds and 2D images, facilitating heterogeneous data fusion and achieving the high-precision geo-alignment required in aerial remote sensing. Depth and plane consistency losses are incorporated into the loss function to guide Gaussians towards real depth and plane representations, significantly improving depth estimation accuracy. Experimental results indicate that our approach has achieved novel view synthesis that balances photo-realistic visual quality and high-precision geometric estimation under aerial remote sensing datasets. Finally, we have also established and open-sourced a dense LiDAR point cloud dataset along with its corresponding aerial multi-view images, AIR-LONGYAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google