RAIDER: Tool-Equipped Large Language Model Agent for Robotic Action Issue Detection, Explanation and Recovery

要約

ロボットが人間中心のダイナミックな環境で動作する機会が増えるにつれ、動作に関連する問題を検出、説明、回復する能力を向上させることが極めて重要になっている。従来のモデルベースやデータ駆動型の手法では適応性に欠け、より柔軟な生成AI手法では、抽出された情報を実世界の制約に基づかせることに苦慮している。我々は、大規模言語モデル（Large Language Models: LLM）と、適応可能で効率的な問題検出と説明のためのグラウンディングツールを統合した新しいエージェントであるRAIDERを紹介する。RAIDERは、独自の’Ground, Ask&Answer, Issue’手順を用いて、文脈を考慮した前提条件の質問を動的に生成し、解決のための適切なツールを選択することで、的を絞った情報収集を実現する。シミュレーションされた家庭環境における我々の結果は、事前に定義されたモデル、完全なシーン記述、または単体の学習済みモデルに依存する方法を凌駕している。さらに、RAIDERの説明は、人間との対話を必要とするケースを含め、復旧の成功率を高めます。自己修正メカニズムを特徴とするそのモジュラーアーキテクチャは、実際の人間支援タスクで実証されたように、多様なシナリオへの素直な適応を可能にする。これは、RAIDERがロボットの問題検出と説明のための多用途エージェントAIソリューションとしての可能性を示すと同時に、具現化エージェントに効果的に適用するための生成AIの基礎付けの問題に取り組んでいる。プロジェクトウェブサイト：https://eurecat.github.io/raider-llmagent/

要約(オリジナル)

As robots increasingly operate in dynamic human-centric environments, improving their ability to detect, explain, and recover from action-related issues becomes crucial. Traditional model-based and data-driven techniques lack adaptability, while more flexible generative AI methods struggle with grounding extracted information to real-world constraints. We introduce RAIDER, a novel agent that integrates Large Language Models (LLMs) with grounded tools for adaptable and efficient issue detection and explanation. Using a unique ‘Ground, Ask&Answer, Issue’ procedure, RAIDER dynamically generates context-aware precondition questions and selects appropriate tools for resolution, achieving targeted information gathering. Our results within a simulated household environment surpass methods relying on predefined models, full scene descriptions, or standalone trained models. Additionally, RAIDER’s explanations enhance recovery success, including cases requiring human interaction. Its modular architecture, featuring self-correction mechanisms, enables straightforward adaptation to diverse scenarios, as demonstrated in a real-world human-assistive task. This showcases RAIDER’s potential as a versatile agentic AI solution for robotic issue detection and explanation, while addressing the problem of grounding generative AI for its effective application in embodied agents. Project website: https://eurecat.github.io/raider-llmagent/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL