Safety Aware Task Planning via Large Language Models in Robotics

要約

大規模な言語モデル（LLMS）をロボットタスク計画に統合することで、複雑で長期のワークフローの推論能力が向上しました。
ただし、LLM駆動型計画の安全性を確保することは、リスク軽減よりもタスクの完了を優先することが多いため、LLM主導の計画の安全性を確保することは重要な課題のままです。
このペーパーでは、安全性の認識をロボットタスク計画に埋め込むために設計されたマルチLLMフレームワークであるSafer（安全性の高いフレームワーク）を紹介します。
Saferは、主要なタスクプランナーと並んで動作する安全エージェントを採用し、安全フィードバックを提供します。
Additionally, we introduce LLM-as-a-Judge, a novel metric leveraging LLMs as evaluators to quantify safety violations within generated task plans.
当社のフレームワークは、複数の実行段階で安全フィードバックを統合し、リアルタイムのリスク評価、積極的なエラー補正、透明な安全評価を可能にします。
また、制御バリア関数（CBFS）を使用して制御フレームワークを統合して、Saferのタスク計画内で安全保証を確保します。
不均一なロボットエージェントを含む複雑な長老タスクに関する最先端のLLMプランナーに対してより安全を評価し、タスクの効率を維持しながら安全違反を減らす際の有効性を示しました。
また、複数のロボットと人間を含む実際のハードウェア実験を通じて、タスクプランナーと安全プランナーを検証します。

要約(オリジナル)

The integration of large language models (LLMs) into robotic task planning has unlocked better reasoning capabilities for complex, long-horizon workflows. However, ensuring safety in LLM-driven plans remains a critical challenge, as these models often prioritize task completion over risk mitigation. This paper introduces SAFER (Safety-Aware Framework for Execution in Robotics), a multi-LLM framework designed to embed safety awareness into robotic task planning. SAFER employs a Safety Agent that operates alongside the primary task planner, providing safety feedback. Additionally, we introduce LLM-as-a-Judge, a novel metric leveraging LLMs as evaluators to quantify safety violations within generated task plans. Our framework integrates safety feedback at multiple stages of execution, enabling real-time risk assessment, proactive error correction, and transparent safety evaluation. We also integrate a control framework using Control Barrier Functions (CBFs) to ensure safety guarantees within SAFER’s task planning. We evaluated SAFER against state-of-the-art LLM planners on complex long-horizon tasks involving heterogeneous robotic agents, demonstrating its effectiveness in reducing safety violations while maintaining task efficiency. We also verify the task planner and safety planner through actual hardware experiments involving multiple robots and a human.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google