GaussRender: Learning 3D Occupancy with Gaussian Rendering

要約

運転シーンの3Dジオメトリとセマンティクスを理解することは、安全な自律運転にとって重要です。
3D占有予測の最近の進歩により、シーンの表現が改善されましたが、多くの場合、空間的な矛盾に悩まされ、浮動的なアーティファクトと表面の局在が不十分になります。
既存のボクセルごとの損失（たとえば、クロスエントロピー）は、幾何学的一貫性を実施できません。
この論文では、射影の一貫性を実施することにより3D占有学習を改善するモジュールであるGaussRenderを提案します。
私たちの重要なアイデアは、予測されたものとグラウンドトゥルース3Dの両方の占有の両方を2Dカメラビューに投影し、監督を適用することです。
私たちの方法は、一貫性のない2Dプロジェクションを生成する3D構成を罰し、よりコヒーレントな3D構造を実施します。
これを効率的に達成するために、ガウスのスプラッティングで微分可能なレンダリングを活用します。
GaussRenderは、効率を維持し、推論時間の変更を必要とせずに、既存のアーキテクチャとシームレスに統合します。
複数のベンチマークでの広範な評価（Courvledocc-Nuscenes、Occ3D-Nuscenes、Sscbench-Kitti360）は、GaussRenderがさまざまな3D占有モデル（TPVFormer、Courvdleocc、Symphonies）にわたって幾何学的忠実度を大幅に改善し、特に最先端の結果を達成することを示しています。
このコードは、https：//github.com/valeoai/gaussrenderでオープンソーリングされています。

要約(オリジナル)

Understanding the 3D geometry and semantics of driving scenes is critical for safe autonomous driving. Recent advances in 3D occupancy prediction have improved scene representation but often suffer from spatial inconsistencies, leading to floating artifacts and poor surface localization. Existing voxel-wise losses (e.g., cross-entropy) fail to enforce geometric coherence. In this paper, we propose GaussRender, a module that improves 3D occupancy learning by enforcing projective consistency. Our key idea is to project both predicted and ground-truth 3D occupancy into 2D camera views, where we apply supervision. Our method penalizes 3D configurations that produce inconsistent 2D projections, thereby enforcing a more coherent 3D structure. To achieve this efficiently, we leverage differentiable rendering with Gaussian splatting. GaussRender seamlessly integrates with existing architectures while maintaining efficiency and requiring no inference-time modifications. Extensive evaluations on multiple benchmarks (SurroundOcc-nuScenes, Occ3D-nuScenes, SSCBench-KITTI360) demonstrate that GaussRender significantly improves geometric fidelity across various 3D occupancy models (TPVFormer, SurroundOcc, Symphonies), achieving state-of-the-art results, particularly on surface-sensitive metrics. The code is open-sourced at https://github.com/valeoai/GaussRender.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google