Continuously Learning, Adapting, and Improving: A Dual-Process Approach to Autonomous Driving

要約

自動運転は、センサー、機械学習、人工知能の向上により大幅に進歩しました。
しかし、一般的な手法は複雑なシナリオや因果関係に対処するのが難しく、さまざまな環境での適応性や解釈性が妨げられています。
上記の問題に対処するために、人間の認知プロセスにヒントを得た自動運転の新しいパラダイムである LeapAD を紹介します。
具体的には、LeapAD は、意思決定の推進に関連する重要なオブジェクトを選択し、環境の解釈を簡素化し、意思決定の複雑さを軽減することで人間の注意をエミュレートします。
さらに、LeapAD には革新的なデュアルプロセス意思決定モジュールが組み込まれています。このモジュールは、徹底した分析と推論のための分析プロセス (システム II) と、迅速かつ経験に基づいた処理のためのヒューリスティック プロセス (システム I) で構成されています。
分析プロセスは、論理的推論を活用して言語的な運転経験を蓄積し、その後、監視付き微調整によってヒューリスティック プロセスに転送されます。
リフレクション メカニズムとメモリ バンクの拡大を通じて、LeapAD は閉ループ環境での過去の間違いから継続的に改善していきます。
CARLA での閉ループ テストでは、LeapAD がカメラ入力のみに依存するすべての方法よりも優れており、ラベル付けされたデータが 1 ～ 2 桁少なくて済むことがわかりました。
実験では、メモリ バンクが拡張するにつれて、わずか 1.8B パラメータのヒューリスティック プロセスが GPT-4 を利用した分析プロセスから知識を継承し、継続的なパフォーマンスの向上を達成できることも実証しています。
コードは https://github.com/PJLab-ADG/LeapAD でリリースされます。

要約(オリジナル)

Autonomous driving has advanced significantly due to sensors, machine learning, and artificial intelligence improvements. However, prevailing methods struggle with intricate scenarios and causal relationships, hindering adaptability and interpretability in varied environments. To address the above problems, we introduce LeapAD, a novel paradigm for autonomous driving inspired by the human cognitive process. Specifically, LeapAD emulates human attention by selecting critical objects relevant to driving decisions, simplifying environmental interpretation, and mitigating decision-making complexities. Additionally, LeapAD incorporates an innovative dual-process decision-making module, which consists of an Analytic Process (System-II) for thorough analysis and reasoning, along with a Heuristic Process (System-I) for swift and empirical processing. The Analytic Process leverages its logical reasoning to accumulate linguistic driving experience, which is then transferred to the Heuristic Process by supervised fine-tuning. Through reflection mechanisms and a growing memory bank, LeapAD continuously improves itself from past mistakes in a closed-loop environment. Closed-loop testing in CARLA shows that LeapAD outperforms all methods relying solely on camera input, requiring 1-2 orders of magnitude less labeled data. Experiments also demonstrate that as the memory bank expands, the Heuristic Process with only 1.8B parameters can inherit the knowledge from a GPT-4 powered Analytic Process and achieve continuous performance improvement. Code will be released at https://github.com/PJLab-ADG/LeapAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google