CADSim: Robust and Scalable in-the-wild 3D Reconstruction for Controllable Sensor Simulation

要約

現実的なシミュレーションは、自動運転車の安全かつスケーラブルな開発を可能にする鍵となります。
コアコンポーネントはセンサーをシミュレートし、自律システム全体をシミュレーションでテストできるようにします。
センサー シミュレーションには、車両などの交通参加者を高品質の外観と多関節ジオメトリでモデル化し、リアルタイムでレンダリングすることが含まれます。
自動運転業界は通常、こうした資産を構築するためにアーティストを雇用してきました。
ただし、これは高価で時間がかかり、現実を反映していない可能性があります。
代わりに、実際に収集されたセンサー データからアセットを自動的に再構築する方が、現実世界を十分にカバーする多様で大規模なセットを生成するためのより良い方法となります。
それにもかかわらず、現在の再構成アプローチは、その希薄性とノイズのために、自然界のセンサー データに対しては困難を抱えています。
これらの問題に取り組むために、我々は、CAD モデルの小さなセットを介して部分認識オブジェクトクラス事前分布と微分可能なレンダリングを組み合わせて、多関節車輪を含む車両ジオメトリを高品質な外観で自動的に再構築する CADSim を紹介します。
私たちの実験は、既存のアプローチと比較して、私たちの方法がまばらなデータからより正確な形状を復元することを示しています。
重要なのは、トレーニングとレンダリングも効率的に行うことです。
私たちは、自律認識システムの正確なテストを含む、いくつかのアプリケーションで復元車両を実証します。

要約(オリジナル)

Realistic simulation is key to enabling safe and scalable development of % self-driving vehicles. A core component is simulating the sensors so that the entire autonomy system can be tested in simulation. Sensor simulation involves modeling traffic participants, such as vehicles, with high quality appearance and articulated geometry, and rendering them in real time. The self-driving industry has typically employed artists to build these assets. However, this is expensive, slow, and may not reflect reality. Instead, reconstructing assets automatically from sensor data collected in the wild would provide a better path to generating a diverse and large set with good real-world coverage. Nevertheless, current reconstruction approaches struggle on in-the-wild sensor data, due to its sparsity and noise. To tackle these issues, we present CADSim, which combines part-aware object-class priors via a small set of CAD models with differentiable rendering to automatically reconstruct vehicle geometry, including articulated wheels, with high-quality appearance. Our experiments show our method recovers more accurate shapes from sparse data compared to existing approaches. Importantly, it also trains and renders efficiently. We demonstrate our reconstructed vehicles in several applications, including accurate testing of autonomy perception systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google