Introspective Planning: Guiding Language-Enabled Agents to Refine Their Own Uncertainty

要約

大規模言語モデル (LLM) は高度な推論スキルを示し、ロボットが自然言語の命令を理解し、適切な接地を通じて高レベルのアクションを戦略的に計画できるようにします。
ただし、LLM 幻覚により、ロボットがユーザーの目標とずれた計画を自信を持って実行したり、極端な場合には安全ではなくなったりする可能性があります。
さらに、自然言語命令に固有のあいまいさは、特に複数の有効なオプションが存在する状況では、タスクの不確実性を引き起こす可能性があります。
この問題に対処するには、LLM はそのような不確実性を特定し、積極的に説明を求める必要があります。
この論文では、LLM が不確実性、つまり微調整を必要とせずにロボットタスクを実行するための認識された計画を形成する際に導く体系的な方法として、内省的計画の概念を検討します。
私たちは、タスクレベルのロボット計画における不確実性の定量化を調査し、最先端の LLM ベースの計画アプローチと比較して、内省により成功率と安全性の両方が大幅に向上することを実証します。
さらに、等角予測と組み合わせた内省的計画の有効性を評価し、この組み合わせによりより厳しい信頼限界が得られ、それによって余分なユーザー明確化クエリを減らして統計的な成功保証を維持できることを明らかにしました。

要約(オリジナル)

Large language models (LLMs) exhibit advanced reasoning skills, enabling robots to comprehend natural language instructions and strategically plan high-level actions through proper grounding. However, LLM hallucination may result in robots confidently executing plans that are misaligned with user goals or, in extreme cases, unsafe. Additionally, inherent ambiguity in natural language instructions can induce task uncertainty, particularly in situations where multiple valid options exist. To address this issue, LLMs must identify such uncertainty and proactively seek clarification. This paper explores the concept of introspective planning as a systematic method for guiding LLMs in forming uncertainty–aware plans for robotic task execution without the need for fine-tuning. We investigate uncertainty quantification in task-level robot planning and demonstrate that introspection significantly improves both success rates and safety compared to state-of-the-art LLM-based planning approaches. Furthermore, we assess the effectiveness of introspective planning in conjunction with conformal prediction, revealing that this combination yields tighter confidence bounds, thereby maintaining statistical success guarantees with fewer superfluous user clarification queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google