BT-ACTION: A Test-Driven Approach for Modular Understanding of User Instruction Leveraging Behaviour Trees and LLMs

要約

自然言語による指示は抽象的で複雑なことが多く、一見単純なクエリであっても、ロボットは複数のサブタスクを実行する必要がある。例えば、ユーザーがロボットにアボカドトーストの調理を依頼する場合、そのタスクにはいくつかの連続したステップが含まれる。さらに、このような指示は、ロボットにとって曖昧であったり、実行不可能であったり、ロボットの既存の知識を超えている場合がある。大規模言語モデル（Large Language Models: LLM）は、このような課題に対処するための強力な言語推論機能を提供するが、ロボットシステムに効果的に統合することは、依然として重要な課題である。この課題に対処するため、我々はBT-ACTIONを提案する。BT-ACTIONは、行動ツリー（Behavior Trees：BT）のモジュール構造とLLMを組み合わせたテスト駆動型のアプローチであり、特にキッチン支援環境におけるレシピ作成の文脈において、複雑なユーザの指示に従うための首尾一貫したロボット動作シーケンスを生成する。我々は、45人の参加者を対象とした包括的なユーザー研究において、BT-ACTIONを評価し、その性能をLLMによる直接プロンプトと比較した。その結果、BT-ACTIONのモジュール設計は、ロボットのミスを減らし、ユーザーの信頼を高めるのに役立ち、参加者はBT-ACTIONを活用したロボットを有意に好むことが示された。コードはhttps://github.com/1Eggbert7/BT_LLM。

要約(オリジナル)

Natural language instructions are often abstract and complex, requiring robots to execute multiple subtasks even for seemingly simple queries. For example, when a user asks a robot to prepare avocado toast, the task involves several sequential steps. Moreover, such instructions can be ambiguous or infeasible for the robot or may exceed the robot’s existing knowledge. While Large Language Models (LLMs) offer strong language reasoning capabilities to handle these challenges, effectively integrating them into robotic systems remains a key challenge. To address this, we propose BT-ACTION, a test-driven approach that combines the modular structure of Behavior Trees (BT) with LLMs to generate coherent sequences of robot actions for following complex user instructions, specifically in the context of preparing recipes in a kitchen-assistance setting. We evaluated BT-ACTION in a comprehensive user study with 45 participants, comparing its performance to direct LLM prompting. Results demonstrate that the modular design of BT-ACTION helped the robot make fewer mistakes and increased user trust, and participants showed a significant preference for the robot leveraging BT-ACTION. The code is publicly available at https://github.com/1Eggbert7/BT_LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL