Learn from the Past: Language-conditioned Object Rearrangement with Large Language Models

要約

オブジェクトの再配置は、オブジェクトを指定された目標状態に操作するように指示される共同ロボットにとって重要なタスクです。
オブジェクトの配置を決定することは、再配置プロセスの効率に影響を与える主要な課題です。
ほとんどの現在の方法は、事前に収集されたデータセットに大きく依存して、目標位置を予測するためにモデルをトレーニングし、特定の指示に制限されています。
大規模な言語モデル（LLM）。
特に、私たちのアプローチは、過去の成功した経験を参照として使用して、望ましい目標位置を推測することにより、人間の推論を模倣します。
LLMの強力な自然言語の理解と推論能力に基づいて、私たちの方法は、さまざまな日常のオブジェクトと自由形式の言語指示をゼロショットで処理するために一般化できます。
実験結果は、当社の方法がロボットの再配置タスクを効果的に実行できることを示しています。これは、長い順次順序を含むものでもあります。

要約(オリジナル)

Object rearrangement is a significant task for collaborative robots, where they are directed to manipulate objects into a specified goal state. Determining the placement of objects is a major challenge that influences the efficiency of the rearrangement process. Most current methods heavily rely on pre-collected datasets to train the model for predicting the goal position and are restricted to specific instructions, which limits their broader applicability and effectiveness.In this paper, we propose a framework of language-conditioned object rearrangement based on the Large Language Model (LLM). Particularly, our approach mimics human reasoning by using past successful experiences as a reference to infer the desired goal position. Based on LLM’s strong natural language comprehension and inference ability, our method can generalise to handle various everyday objects and free-form language instructions in a zero-shot manner. Experimental results demonstrate that our methods can effectively execute the robotic rearrangement tasks, even those involving long sequential orders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google