MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving

要約

現在、自動運転車は通常の場合にはスムーズに走行することができ、現実的なセンサー シミュレーションが残りのコーナー ケースをシミュレーションすることで解決する上で重要な役割を果たすことが広く認識されています。
この目的を達成するために、我々は神経放射場 (NeRF) に基づく自動運転シミュレーターを提案します。
既存の作品と比較して、私たちの作品には次の 3 つの注目すべき特徴があります。 (1) インスタンス認識。
私たちのシミュレーターは、インスタンスの静的プロパティ (サイズや外観など) と動的プロパティ (軌道など) を個別に制御できるように、独立したネットワークを使用してフォアグラウンド インスタンスとバックグラウンド環境を個別にモデル化します。
(2) モジュール式。
当社のシミュレータでは、さまざまな最新の NeRF 関連バックボーン、サンプリング戦略、入力モダリティなどを柔軟に切り替えることができます。このモジュラー設計により、NeRF ベースの自動運転シミュレーションの学術的進歩と産業展開が促進されると期待されています。
(3) 現実的です。
当社のシミュレータは、最適なモジュールを選択した場合に、新しい最先端のフォトリアリズムの結果を設定します。
私たちのシミュレーターはオープンソース化されますが、他のほとんどのシミュレーターはオープンソース化されません。
プロジェクトページ: https://open-air-sun.github.io/mars/。

要約(オリジナル)

Nowadays, autonomous cars can drive smoothly in ordinary cases, and it is widely recognized that realistic sensor simulation will play a critical role in solving remaining corner cases by simulating them. To this end, we propose an autonomous driving simulator based upon neural radiance fields (NeRFs). Compared with existing works, ours has three notable features: (1) Instance-aware. Our simulator models the foreground instances and background environments separately with independent networks so that the static (e.g., size and appearance) and dynamic (e.g., trajectory) properties of instances can be controlled separately. (2) Modular. Our simulator allows flexible switching between different modern NeRF-related backbones, sampling strategies, input modalities, etc. We expect this modular design to boost academic progress and industrial deployment of NeRF-based autonomous driving simulation. (3) Realistic. Our simulator set new state-of-the-art photo-realism results given the best module selection. Our simulator will be open-sourced while most of our counterparts are not. Project page: https://open-air-sun.github.io/mars/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google