UniSim: A Neural Closed-Loop Sensor Simulator

要約

安全な自動運転車（SDV）を実現するためには、自律走行システムを厳密にテストすることが不可欠である。多くのシナリオは公道ではめったに発生しないため、安全上重要なシナリオを生成する必要があります。性能を正確に評価するには、SDVと他のアクターがタイムステップごとに相互作用するクローズドループで、これらのシナリオについてSDVをテストする必要があります。過去に記録された走行ログは、これらの新しいシナリオを構築するための豊富なリソースを提供しますが、クローズドループで評価するためには、新しいシーン構成とSDVの決定に基づいてセンサーデータを修正する必要があります。この論文では、センサーを搭載した車両によってキャプチャされた単一の記録ログを取り込み、現実的な閉ループのマルチセンサーシミュレーションに変換するニューラルセンサーシミュレータであるUniSimを紹介します。UniSimは、シーン内の静的な背景と動的なアクターの両方を再構築するためにニューラル特徴グリッドを構築し、アクターを追加または削除し、新しい配置で、新しい視点でのLiDARとカメラデータをシミュレートするためにそれらを合成します。外挿されたビューをより良く扱うために、動的オブジェクトの学習可能な事前分布を組み込み、畳み込みネットワークを活用して未見領域を補完します。我々の実験では、UniSimは下流タスクのドメインギャップが小さく、現実的なセンサーデータをシミュレートできることを示している。UniSimを用いることで、セーフティクリティカルなシナリオにおける自律システムのクローズドループ評価を、あたかも実世界にあるかのように実証する。

要約(オリジナル)

Rigorously testing autonomy systems is essential for making safe self-driving vehicles (SDV) a reality. It requires one to generate safety critical scenarios beyond what can be collected safely in the world, as many scenarios happen rarely on public roads. To accurately evaluate performance, we need to test the SDV on these scenarios in closed-loop, where the SDV and other actors interact with each other at each timestep. Previously recorded driving logs provide a rich resource to build these new scenarios from, but for closed loop evaluation, we need to modify the sensor data based on the new scene configuration and the SDV’s decisions, as actors might be added or removed and the trajectories of existing actors and the SDV will differ from the original log. In this paper, we present UniSim, a neural sensor simulator that takes a single recorded log captured by a sensor-equipped vehicle and converts it into a realistic closed-loop multi-sensor simulation. UniSim builds neural feature grids to reconstruct both the static background and dynamic actors in the scene, and composites them together to simulate LiDAR and camera data at new viewpoints, with actors added or removed and at new placements. To better handle extrapolated views, we incorporate learnable priors for dynamic objects, and leverage a convolutional network to complete unseen regions. Our experiments show UniSim can simulate realistic sensor data with small domain gap on downstream tasks. With UniSim, we demonstrate closed-loop evaluation of an autonomy system on safety-critical scenarios as if it were in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL