SafePath: Conformal Prediction for Safe LLM-Based Autonomous Navigation

要約

大規模な言語モデル（LLMS）は、複雑な交通シナリオを推論してパスプランを生成することにより、自律運転の約束の高まりを示しています。
しかし、彼らの自信過剰への傾向と幻覚は、重大な安全上の懸念を引き起こします。
SafePathを紹介します。SafePathは、適合予測を使用して正式な安全保証を使用して、LLMベースのパス計画を強化するモジュール式フレームワークです。
SafePathは3つの段階で動作します。
最初の段階では、エージェントの動作と環境の手がかりに基づいて可能な軌跡を調査し、多様な候補パスのセットを生成するLLMを使用します。
第2段階では、SafePathが高リスクの軌跡を除去しながら、適合予測を統合する複数選択の質問解決定式化を通じて、少なくとも1つの安全なオプションがユーザー定義の確率に含まれていることを保証します。
最終段階では、私たちのアプローチは、不確実性が低いときに予想される衝突リスクが最も低いか、不確実性が高い場合に人間を委任する衝突リスクが最も低い経路を選択します。
Safepathがユーザー定義の確率で安全な軌道を保証することを理論的に証明し、その人間の委任率をどのように調整して自律性と安全のバランスをとることができるかを示します。
ヌスセンと高速道路網に関する広範な実験は、SafePathが計画の不確実性を77％、衝突速度を最大70 \％減らすことを示しており、LLM駆動型のパス計画をより安全にする際の有効性を示しています。

要約(オリジナル)

Large Language Models (LLMs) show growing promise in autonomous driving by reasoning over complex traffic scenarios to generate path plans. However, their tendencies toward overconfidence, and hallucinations raise critical safety concerns. We introduce SafePath, a modular framework that augments LLM-based path planning with formal safety guarantees using conformal prediction. SafePath operates in three stages. In the first stage, we use an LLM that generates a set of diverse candidate paths, exploring possible trajectories based on agent behaviors and environmental cues. In the second stage, SafePath filters out high-risk trajectories while guaranteeing that at least one safe option is included with a user-defined probability, through a multiple-choice question-answering formulation that integrates conformal prediction. In the final stage, our approach selects the path with the lowest expected collision risk when uncertainty is low or delegates control to a human when uncertainty is high. We theoretically prove that SafePath guarantees a safe trajectory with a user-defined probability, and we show how its human delegation rate can be tuned to balance autonomy and safety. Extensive experiments on nuScenes and Highway-env show that SafePath reduces planning uncertainty by 77\% and collision rates by up to 70\%, demonstrating effectiveness in making LLM-driven path planning more safer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google