Unifying Appearance Codes and Bilateral Grids for Driving Scene Gaussian Splatting

要約

NERFやGaussian Splatting（GS）を含むニューラルレンダリング技術は、測光の一貫性に依存して高品質の再構築を生成します。
ただし、実際のシナリオでは、獲得した画像の完全な測光の一貫性を保証することは困難です。
この問題に対処するために外観コードは広く使用されていますが、単一のコードが画像全体に適用されるため、モデリング機能は限られています。
最近、両側グリッドがピクセルごとの色マッピングを実行するために導入されましたが、効果的に最適化して制約することは困難です。
この論文では、外観コードと両側グリッドを統一する新しいマルチスケールの両側グリッドを提案します。
このアプローチは、動的で分離された自律運転シーンの再構築における幾何学的精度を大幅に改善し、外観コードと両側グリッドの両方を上回ることを実証します。
これは、障害物の回避と制御に正確なジオメトリが重要である自律運転にとって重要です。
私たちの方法は、Waymo、Nuscenes、Argoverse、およびPandasetの4つのデータセットで強力な結果を示しています。
さらに、ジオメトリの改善は、測光の矛盾によって引き起こされるフローターを効果的に削減するマルチスケールの両側グリッドによって駆動されることを実証します。

要約(オリジナル)

Neural rendering techniques, including NeRF and Gaussian Splatting (GS), rely on photometric consistency to produce high-quality reconstructions. However, in real-world scenarios, it is challenging to guarantee perfect photometric consistency in acquired images. Appearance codes have been widely used to address this issue, but their modeling capability is limited, as a single code is applied to the entire image. Recently, the bilateral grid was introduced to perform pixel-wise color mapping, but it is difficult to optimize and constrain effectively. In this paper, we propose a novel multi-scale bilateral grid that unifies appearance codes and bilateral grids. We demonstrate that this approach significantly improves geometric accuracy in dynamic, decoupled autonomous driving scene reconstruction, outperforming both appearance codes and bilateral grids. This is crucial for autonomous driving, where accurate geometry is important for obstacle avoidance and control. Our method shows strong results across four datasets: Waymo, NuScenes, Argoverse, and PandaSet. We further demonstrate that the improvement in geometry is driven by the multi-scale bilateral grid, which effectively reduces floaters caused by photometric inconsistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google