Creative Robot Tool Use with Large Language Models

要約

道具の使用は高度な知能の特徴であり、動物の行動とロボットの能力の両方に例証されています。
この論文では、暗黙の物理的制約と長期計画を伴うタスクにおいてツールを創造的に使用する能力をロボットに組み込む実現可能性を調査します。
大規模言語モデル (LLM) を活用して、自然言語命令を受け入れ、シミュレーション環境と現実世界の両方の環境でロボットを制御するための実行可能コードを出力するシステムである RoboTool を開発します。
RoboTool には 4 つの重要なコンポーネントが組み込まれています: (i) 自然言語を解釈して主要なタスク関連の概念を識別する「アナライザー」、(ii) 言語入力と主要な概念に基づいて包括的な戦略を生成する「プランナー」、(iii)
各スキルのパラメータを計算する「計算機」、および (iv) これらの計画を実行可能な Python コードに変換する「コーダー」。
私たちの結果は、RoboTool が明示的または暗黙的な物理的制約や環境要因を理解できるだけでなく、創造的なツールの使用を実証できることを示しています。
明示的な最適化に依存する従来のタスク アンド モーション プランニング (TAMP) 手法とは異なり、当社の LLM ベースのシステムは、複雑なロボット タスクに対して、より柔軟で効率的で使いやすいソリューションを提供します。
私たちは広範な実験を通じて、RoboTool がツールを創造的に使用しなければ実行不可能なタスクの処理に熟達していることを検証し、それによってロボット システムの機能を拡張します。
デモはプロジェクト ページ https://creative-robotool.github.io/ で利用できます。

要約(オリジナル)

Tool use is a hallmark of advanced intelligence, exemplified in both animal behavior and robotic capabilities. This paper investigates the feasibility of imbuing robots with the ability to creatively use tools in tasks that involve implicit physical constraints and long-term planning. Leveraging Large Language Models (LLMs), we develop RoboTool, a system that accepts natural language instructions and outputs executable code for controlling robots in both simulated and real-world environments. RoboTool incorporates four pivotal components: (i) an ‘Analyzer’ that interprets natural language to discern key task-related concepts, (ii) a ‘Planner’ that generates comprehensive strategies based on the language input and key concepts, (iii) a ‘Calculator’ that computes parameters for each skill, and (iv) a ‘Coder’ that translates these plans into executable Python code. Our results show that RoboTool can not only comprehend explicit or implicit physical constraints and environmental factors but also demonstrate creative tool use. Unlike traditional Task and Motion Planning (TAMP) methods that rely on explicit optimization, our LLM-based system offers a more flexible, efficient, and user-friendly solution for complex robotics tasks. Through extensive experiments, we validate that RoboTool is proficient in handling tasks that would otherwise be infeasible without the creative use of tools, thereby expanding the capabilities of robotic systems. Demos are available on our project page: https://creative-robotool.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google