Creating and Repairing Robot Programs in Open-World Domains

要約

大規模言語モデル (LLM) を使用して自然言語からロボット プログラムを作成することにより、より多様なタスクを実行できるロボット システムが可能になりました。
ただし、LLM で生成されたプログラムは、命令のあいまいさ、目的のタスクの誤解、世界状態に関する情報の欠落などにより、欠陥がある可能性があります。
これらのプログラムが実行されると、世界の状況が変化し、新しい情報が収集されます。
障害が発生した場合は、現在の状態から回復し、以前に正常に完了した手順を繰り返さないようにすることが重要です。
私たちは、エラーが発生するまでプログラムの実行を追跡し、その後、反復アクションを最小限に抑える LLM によって生成された回復プログラムを実行するシステムである RoboRepair を提案します。
システムの有効性を評価するために、回復プログラムの生成を必要とするさまざまなエラー条件を含む 11 個のタスクで構成されるベンチマークを作成します。
リカバリ プログラムの効率を、将来のエラーを予測したオラクルで構築された計画と比較します。

要約(オリジナル)

Using Large Language Models (LLMs) to produce robot programs from natural language has allowed for robot systems that can complete a higher diversity of tasks. However, LLM-generated programs may be faulty, either due to ambiguity in instructions, misinterpretation of the desired task, or missing information about the world state. As these programs run, the state of the world changes and they gather new information. When a failure occurs, it is important that they recover from the current world state and avoid repeating steps that they they previously completed successfully. We propose RoboRepair, a system which traces the execution of a program up until error, and then runs an LLM-produced recovery program that minimizes repeated actions. To evaluate the efficacy of our system, we create a benchmark consisting of eleven tasks with various error conditions that require the generation of a recovery program. We compare the efficiency of the recovery program to a plan built with an oracle that has foreknowledge of future errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google