InCoRo: In-Context Learning for Robotics Control with Feedback Loops

要約

ロボット工学における課題の 1 つは、動的な環境で複雑なタスクを実行するのに十分な堅牢な推論機能をロボット ユニットに提供できるようにすることです。
LLM の最近の進歩により、LLM は単純な推論タスクに最適なツールとして位置づけられ、Liang らの先駆的な研究の動機となっています。
[35] これは、LLM を使用して自然言語コマンドをロボット ユニットの低レベルの静的実行プランに変換します。
ロボット システム内で LLM を使用すると、ロボット システムの一般化が新たなレベルに引き上げられ、新しいタスクに対するゼロショットの一般化が可能になります。
この文書では、この以前の研究を動的環境に拡張します。
我々は、LLMコントローラ、シーン理解ユニット、ロボットから構成される古典的なロボットフィードバックループを使用するシステムInCoRoを提案します。
当社のシステムは環境の状態を継続的に分析し、適応した実行コマンドを提供することで、ロボットが環境条件の変化に適応し、コントローラーのエラーを修正できるようにします。
私たちのシステムは、既製の LLM モデルによるコンテキスト内学習を活用しているため、タスクの達成方法を学習するために反復的な最適化を必要としません。
2 つの標準化された産業用ロボット ユニット (SCARA タイプと DELTA タイプ) を含む広範な検証プロセスを通じて、私たちはコミュニティで普及していないこれらのロボットに関する知識を提供し、それによって知識を充実させます。
私たちはシステムの一般化機能を強調し、(1) 現在の最先端の LLM と組み合わせたコンテキスト内学習がロボット コントローラーを実装する効果的な方法であることを示します。
(2) 静的環境では、InCoRo は成功率の点で従来技術を上回ります。
(3) 動的な環境では、SCARA ユニットと DELTA ユニットにそれぞれ新しい最先端技術を確立します。
この研究は、動的な環境に適応する、信頼性が高く効率的でインテリジェントな自律システムの構築への道を開きます。

要約(オリジナル)

One of the challenges in robotics is to enable robotic units with the reasoning capability that would be robust enough to execute complex tasks in dynamic environments. Recent advances in LLMs have positioned them as go-to tools for simple reasoning tasks, motivating the pioneering work of Liang et al. [35] that uses an LLM to translate natural language commands into low-level static execution plans for robotic units. Using LLMs inside robotics systems brings their generalization to a new level, enabling zero-shot generalization to new tasks. This paper extends this prior work to dynamic environments. We propose InCoRo, a system that uses a classical robotic feedback loop composed of an LLM controller, a scene understanding unit, and a robot. Our system continuously analyzes the state of the environment and provides adapted execution commands, enabling the robot to adjust to changing environmental conditions and correcting for controller errors. Our system does not require any iterative optimization to learn to accomplish a task as it leverages in-context learning with an off-the-shelf LLM model. Through an extensive validation process involving two standardized industrial robotic units — SCARA and DELTA types — we contribute knowledge about these robots, not popular in the community, thereby enriching it. We highlight the generalization capabilities of our system and show that (1) in-context learning in combination with the current state-of-the-art LLMs is an effective way to implement a robotic controller; (2) in static environments, InCoRo surpasses the prior art in terms of the success rate; (3) in dynamic environments, we establish new state-of-the-art for the SCARA and DELTA units, respectively. This research paves the way towards building reliable, efficient, intelligent autonomous systems that adapt to dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google