Uni-Gaussians: Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios

要約

自動運転車の安全性を確保するには、さまざまな動的な駆動シナリオにわたって、カメラとLIDARセンサーの両方からの入力を含むマルチセンサーデータの包括的なシミュレーションが必要です。
収集された生センサーデータを利用してこれらの動的環境をシミュレートするニューラルレンダリング技術は、主要な方法論として浮上しています。
NERFベースのアプローチは、カメラとLidarの両方からデータをレンダリングするためのシーンを均一に表すことができますが、サンプリングが密なため、速度が遅いため、妨げられます。
逆に、ガウスのスプラッティングベースの方法は、シーン表現のためにガウスプリミティブを使用し、ラスター化による迅速なレンダリングを達成します。
ただし、これらのラスター化ベースの技術は、非線形光学センサーを正確にモデル化するのに苦労しています。
この制限により、ピンホールカメラを超えたセンサーへの適用性が制限されます。
これらの課題に対処し、ガウスプリミティブを使用した動的運転シナリオの統一された表現を可能にするために、この研究は新しいハイブリッドアプローチを提案します。
私たちのメソッドは、Lidarデータレンダリング用のガウスレイトレースを使用しながら、画像データをレンダリングするためにラスター化を利用しています。
パブリックデータセットの実験結果は、私たちのアプローチが現在の最先端の方法よりも優れていることを示しています。
この作業は、ガウスプリミティブを使用した自律運転シナリオにおけるカメラとライダーデータの現実的なシミュレーションのための統一された効率的なソリューションを提供し、品質と計算効率の両方のレンダリングの両方に大きな進歩をもたらします。

要約(オリジナル)

Ensuring the safety of autonomous vehicles necessitates comprehensive simulation of multi-sensor data, encompassing inputs from both cameras and LiDAR sensors, across various dynamic driving scenarios. Neural rendering techniques, which utilize collected raw sensor data to simulate these dynamic environments, have emerged as a leading methodology. While NeRF-based approaches can uniformly represent scenes for rendering data from both camera and LiDAR, they are hindered by slow rendering speeds due to dense sampling. Conversely, Gaussian Splatting-based methods employ Gaussian primitives for scene representation and achieve rapid rendering through rasterization. However, these rasterization-based techniques struggle to accurately model non-linear optical sensors. This limitation restricts their applicability to sensors beyond pinhole cameras. To address these challenges and enable unified representation of dynamic driving scenarios using Gaussian primitives, this study proposes a novel hybrid approach. Our method utilizes rasterization for rendering image data while employing Gaussian ray-tracing for LiDAR data rendering. Experimental results on public datasets demonstrate that our approach outperforms current state-of-the-art methods. This work presents a unified and efficient solution for realistic simulation of camera and LiDAR data in autonomous driving scenarios using Gaussian primitives, offering significant advancements in both rendering quality and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google