$\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving

要約

ストリートシーンのフォトリアリスティックな 3D 再構築は、自動運転用の実世界シミュレーターを開発するための重要な技術です。
運転シーンに対する Neural Radiance Fields (NeRF) の有効性にもかかわらず、3D Gaussian Splatting (3DGS) は、その高速性とより明示的な表現により、有望な方向性として浮上しています。
ただし、既存のストリート 3DGS 手法のほとんどは、効果的な再構築のために静的要素と動的要素を分解するために追跡された 3D 車両境界ボックスを必要とするため、自然環境でのシナリオへの適用が制限されます。
コストのかかる注釈を付けずに効率的な 3D シーンの再構成を容易にするために、4D の一貫性から動的要素と静的要素を分解する自己教師ありストリート ガウス ($\textit{S}^3$Gaussian) 法を提案します。
各シーンを 3D ガウスで表現して明示性を維持し、さらに時空間フィールド ネットワークを付加して 4D ダイナミクスをコンパクトにモデル化します。
私たちは、手法の有効性を評価するために、困難な Waymo-Open データセットに対して広範な実験を実施します。
$\textit{S}^3$Gaussian は、静的シーンと動的シーンを分解する能力を実証し、3D 注釈を使用せずに最高のパフォーマンスを実現します。
コードは https://github.com/nnanhuang/S3Gaussian/ から入手できます。

要約(オリジナル)

Photorealistic 3D reconstruction of street scenes is a critical technique for developing real-world simulators for autonomous driving. Despite the efficacy of Neural Radiance Fields (NeRF) for driving scenes, 3D Gaussian Splatting (3DGS) emerges as a promising direction due to its faster speed and more explicit representation. However, most existing street 3DGS methods require tracked 3D vehicle bounding boxes to decompose the static and dynamic elements for effective reconstruction, limiting their applications for in-the-wild scenarios. To facilitate efficient 3D scene reconstruction without costly annotations, we propose a self-supervised street Gaussian ($\textit{S}^3$Gaussian) method to decompose dynamic and static elements from 4D consistency. We represent each scene with 3D Gaussians to preserve the explicitness and further accompany them with a spatial-temporal field network to compactly model the 4D dynamics. We conduct extensive experiments on the challenging Waymo-Open dataset to evaluate the effectiveness of our method. Our $\textit{S}^3$Gaussian demonstrates the ability to decompose static and dynamic scenes and achieves the best performance without using 3D annotations. Code is available at: https://github.com/nnanhuang/S3Gaussian/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google