PLM-Net: Perception Latency Mitigation Network for Vision-Based Lateral Control of Autonomous Vehicles

要約

この研究では、視覚ベースの自動運転車 (AV) 横方向制御システムにおける知覚遅延に対処するための新しい深層学習アプローチである知覚遅延緩和ネットワーク (PLM-Net) を紹介します。
知覚遅延とは、視覚センサー (カメラなど) を通じて環境をキャプチャしてからアクション (ステアリングなど) を適用するまでの遅延です。
この問題は、古典的な制御方法とニューラル ネットワーク ベースの制御方法の両方で十分に研究されていません。
強力な GPU や FPGA を使用してこのレイテンシを短縮することは可能ですが、自動車プラットフォームでは現実的ではありません。
PLM-Net は、基本モデル (BM) と時間指定アクション予測モデル (TAPM) で構成されます。
BM はオリジナルのレーン キーピング アシスト (LKA) システムを表し、TAPM はさまざまな遅延値に対する将来のアクションを予測します。
これらのモデルを統合することにより、PLM-Net は知覚の遅延を軽減します。
最終的な出力は、リアルタイム レイテンシーに基づいた BM および TAPM 出力の線形補間によって決定されます。
この設計は、一定の遅延と変動する遅延の両方に対処し、運転軌道とステアリング制御を改善します。
実験結果では、さまざまな遅延条件における PLM-Net の有効性が検証されています。
ソースコード: https://github.com/AwsKhalil/oscar/tree/devel-plm-net。

要約(オリジナル)

This study introduces the Perception Latency Mitigation Network (PLM-Net), a novel deep learning approach for addressing perception latency in vision-based Autonomous Vehicle (AV) lateral control systems. Perception latency is the delay between capturing the environment through vision sensors (e.g., cameras) and applying an action (e.g., steering). This issue is understudied in both classical and neural-network-based control methods. Reducing this latency with powerful GPUs and FPGAs is possible but impractical for automotive platforms. PLM-Net comprises the Base Model (BM) and the Timed Action Prediction Model (TAPM). BM represents the original Lane Keeping Assist (LKA) system, while TAPM predicts future actions for different latency values. By integrating these models, PLM-Net mitigates perception latency. The final output is determined through linear interpolation of BM and TAPM outputs based on real-time latency. This design addresses both constant and varying latency, improving driving trajectories and steering control. Experimental results validate the efficacy of PLM-Net across various latency conditions. Source code: https://github.com/AwsKhalil/oscar/tree/devel-plm-net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google