Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting

要約

この論文は、自動運転シーン向けにダイナミックな都市街路をモデル化するという問題に取り組むことを目的としています。
最近の手法では、追跡された車両のポーズを組み込んで車両をアニメーション化することで NeRF を拡張し、動的な都市のストリート シーンのフォトリアリスティックなビュー合成を可能にしています。
ただし、トレーニングとレンダリングの速度が遅いという大きな制限があります。
これらの制限に取り組む新しい明示的なシーン表現であるストリート ガウスを紹介します。
具体的には、動的な都市シーンは、セマンティック ロジットと 3D ガウスを備えた点群のセットとして表され、それぞれが前景の車両または背景のいずれかに関連付けられます。
前景オブジェクトの車両のダイナミクスをモデル化するために、動的外観の 4D 球面調和モデルとともに、最適化可能な追跡ポーズを使用して各オブジェクト点群が最適化されます。
明示的な表現により、オブジェクトの車両と背景を簡単に構成できるため、トレーニングの 30 分以内にシーン編集操作と 135 FPS (解像度 1066 $\times$ 1600) でのレンダリングが可能になります。
提案された手法は、KITTI や Waymo Open データセットを含む複数の困難なベンチマークで評価されます。
実験では、提案された方法がすべてのデータセットにわたって一貫して最先端の方法よりも優れていることが示されています。
コードは再現性を確保するために公開されます。

要約(オリジナル)

This paper aims to tackle the problem of modeling dynamic urban streets for autonomous driving scenes. Recent methods extend NeRF by incorporating tracked vehicle poses to animate vehicles, enabling photo-realistic view synthesis of dynamic urban street scenes. However, significant limitations are their slow training and rendering speed. We introduce Street Gaussians, a new explicit scene representation that tackles these limitations. Specifically, the dynamic urban scene is represented as a set of point clouds equipped with semantic logits and 3D Gaussians, each associated with either a foreground vehicle or the background. To model the dynamics of foreground object vehicles, each object point cloud is optimized with optimizable tracked poses, along with a 4D spherical harmonics model for the dynamic appearance. The explicit representation allows easy composition of object vehicles and background, which in turn allows for scene editing operations and rendering at 135 FPS (1066 $\times$ 1600 resolution) within half an hour of training. The proposed method is evaluated on multiple challenging benchmarks, including KITTI and Waymo Open datasets. Experiments show that the proposed method consistently outperforms state-of-the-art methods across all datasets. The code will be released to ensure reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google