Penalty-Based Imitation Learning With Cross Semantics Generation Sensor Fusion for Autonomous Driving

要約

最近、エンドツーエンドの自動運転技術への注目が高まっています。
このテクノロジーでは、駆動パイプライン全体を単一のニューラル ネットワークに置き換えます。このニューラル ネットワークは、より単純な構造とより高速な推論時間を備えています。
ただし、このアプローチでは駆動パイプライン内のコンポーネントの数が削減されますが、解釈可能性と安全性に関連する課題も生じます。
たとえば、トレーニングされたポリシーが常に交通ルールに準拠しているとは限らず、中間出力がないため、そのような不正動作の理由を判断するのは困難です。
さらに、自動運転技術の実装の成功は、周囲の環境を正確に認識するための感覚データの信頼性が高く、適切な処理に大きく依存します。
この論文では、クロスセマンティクス生成センサー融合技術 (P-CSG) と組み合わせたペナルティベースの模倣学習アプローチを提供して、複数の情報モダリティを効率的に統合し、自律エージェントが効果的に交通規制を遵守できるようにします。
私たちのモデルは Town 05 Long ベンチマーク内で評価を受けており、最先端 (SOTA) モデルである InterFuser と比較して、運転スコアが 12% 以上大幅に向上していることが観察されています。
特に、私たちのモデルは、推論速度の 7 倍の向上を達成し、モデル サイズを約 30% 削減しながら、このパフォーマンスの向上を実現しています。
コードベースのリソースを含む詳細情報については、https://hk-zh.github.io/p-csg/ を参照してください。

要約(オリジナル)

In recent times, there has been a growing focus on end-to-end autonomous driving technologies. This technology involves the replacement of the entire driving pipeline with a single neural network, which has a simpler structure and faster inference time. However, while this approach reduces the number of components in the driving pipeline, it also presents challenges related to interpretability and safety. For instance, the trained policy may not always comply with traffic rules, and it is difficult to determine the reason for such misbehavior due to the lack of intermediate outputs. Additionally, the successful implementation of autonomous driving technology heavily depends on the reliable and expedient processing of sensory data to accurately perceive the surrounding environment. In this paper, we provide penalty-based imitation learning approach combined with cross semantics generation sensor fusion technologies (P-CSG) to efficiently integrate multiple modalities of information and enable the autonomous agent to effectively adhere to traffic regulations. Our model undergoes evaluation within the Town 05 Long benchmark, where we observe a remarkable increase in the driving score by more than 12% when compared to the state-of-the-art (SOTA) model, InterFuser. Notably, our model achieves this performance enhancement while achieving a 7-fold increase in inference speed and reducing the model size by approximately 30%. For more detailed information, including code-based resources, they can be found at https://hk-zh.github.io/p-csg/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google