Seamless Virtual Reality with Integrated Synchronizer and Synthesizer for Autonomous Driving

要約

仮想現実 (VR) は、自動運転 (AD) 用の有望なデータ エンジンです。
ただし、このパラダイムにおけるデータの忠実度は VR の不整合によって低下することが多く、既存の VR アプローチは低レベルの VR シンクロナイザー設計 (つまり、データ コレクター) と高レベルの VR シンセサイザー設計の間の相互依存関係を無視しているため、このアプローチに対しては効果がありません。
(つまり、データプロセッサ)。
この論文では、このような不一致を軽減し、共有された共生世界で VR エージェントが相互に対話できるようにする、AD 用のシームレスな仮想現実 SVR プラットフォームを紹介します。
SVR の核心は、統合されたシンクロナイザーおよびシンセサイザー IS2 設計です。これは、VR コロケーション用のドリフト対応 LIDAR 慣性シンクロナイザーと、拡張現実画像生成用のモーション対応ディープ ビジュアル合成ネットワークで構成されます。
2 つのサンドボックス プラットフォームで車のようなロボットに SVR を実装し、cm レベルの VR 共局在精度と 3.2% の VR 画像偏差を達成し、衝突の見逃しやモデルのクリッピングを回避します。
実験の結果、提案された SVR は他のベンチマークと比較して、介入時間、方向転換の失敗、失敗率が減少することが示されています。
SVR でトレーニングされたニューラル ネットワークは、VR 空間から学んだ知識を活用することで、現実世界の環境で目に見えない状況に対処できます。

要約(オリジナル)

Virtual reality (VR) is a promising data engine for autonomous driving (AD). However, data fidelity in this paradigm is often degraded by VR inconsistency, for which the existing VR approaches become ineffective, as they ignore the inter-dependency between low-level VR synchronizer designs (i.e., data collector) and high-level VR synthesizer designs (i.e., data processor). This paper presents a seamless virtual reality SVR platform for AD, which mitigates such inconsistency, enabling VR agents to interact with each other in a shared symbiotic world. The crux to SVR is an integrated synchronizer and synthesizer IS2 design, which consists of a drift-aware lidar-inertial synchronizer for VR colocation and a motion-aware deep visual synthesis network for augmented reality image generation. We implement SVR on car-like robots in two sandbox platforms, achieving a cm-level VR colocalization accuracy and 3.2% VR image deviation, thereby avoiding missed collisions or model clippings. Experiments show that the proposed SVR reduces the intervention times, missed turns, and failure rates compared to other benchmarks. The SVR-trained neural network can handle unseen situations in real-world environments, by leveraging its knowledge learnt from the VR space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google