LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives

要約

大規模なガレージは、私たちの日常生活のどこにでもありながら複雑なシーンであり、単調な色、反復的なパターン、反射面、透明な車両ガラスを特徴とする課題を引き起こします。
カメラの姿勢推定と 3D 再構築のための従来の Structure from Motion (SfM) 手法は、対応関係の構築が不十分なため、これらの環境では失敗します。
これらの課題に対処するために、このホワイト ペーパーでは、大規模なガレージ モデリングとレンダリングのための LiDAR 支援ガウス スプラッティング アプローチである LetsGo を紹介します。
当社は、正確な LiDAR と画像データのスキャンを容易にするために、IMU、LiDAR、魚眼カメラを備えたハンドヘルド スキャナー Polar を開発しています。
この Polar デバイスを使用して、さまざまな幾何学的構造を持つ 5 つの広大なガレージ シーンで構成される GarageWorld データセットを提示し、さらなる研究のためにこのデータセットをコミュニティにリリースします。
Polar デバイスによって収集された LiDAR 点群が、ガレージ シーンのモデリングとレンダリングのための 3D ガウス スプラッティング アルゴリズムのスイートを強化することを実証します。
また、レンダリングされたイメージ内の浮遊アーティファクトを効果的に除去する 3D ガウス スプラッティング アルゴリズム トレーニング用の新しい深度レギュラライザーと、Web ベースのデバイスでリアルタイム表示するための軽量の詳細レベル (LOD) ガウス レンダラーも提案します。
さらに、単純なジオメトリと色 (壁や地面など) を表現する従来のメッシュの利点と、複雑な詳細と高周波テクスチャをキャプチャする最新の 3D ガウス表現を組み合わせたハイブリッド表現を検討します。
この戦略により、メモリのパフォーマンスとレンダリング品質の間の最適なバランスが実現されます。
ScanNet++ および KITTI-360 と合わせたデータセットの実験結果は、レンダリング品質とリソース効率におけるこの方法の優位性を示しています。

要約(オリジナル)

Large garages are ubiquitous yet intricate scenes in our daily lives, posing challenges characterized by monotonous colors, repetitive patterns, reflective surfaces, and transparent vehicle glass. Conventional Structure from Motion (SfM) methods for camera pose estimation and 3D reconstruction fail in these environments due to poor correspondence construction. To address these challenges, this paper introduces LetsGo, a LiDAR-assisted Gaussian splatting approach for large-scale garage modeling and rendering. We develop a handheld scanner, Polar, equipped with IMU, LiDAR, and a fisheye camera, to facilitate accurate LiDAR and image data scanning. With this Polar device, we present a GarageWorld dataset consisting of five expansive garage scenes with diverse geometric structures and will release the dataset to the community for further research. We demonstrate that the collected LiDAR point cloud by the Polar device enhances a suite of 3D Gaussian splatting algorithms for garage scene modeling and rendering. We also propose a novel depth regularizer for 3D Gaussian splatting algorithm training, effectively eliminating floating artifacts in rendered images, and a lightweight Level of Detail (LOD) Gaussian renderer for real-time viewing on web-based devices. Additionally, we explore a hybrid representation that combines the advantages of traditional mesh in depicting simple geometry and colors (e.g., walls and the ground) with modern 3D Gaussian representations capturing complex details and high-frequency textures. This strategy achieves an optimal balance between memory performance and rendering quality. Experimental results on our dataset, along with ScanNet++ and KITTI-360, demonstrate the superiority of our method in rendering quality and resource efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google