Object-Centric Instruction Augmentation for Robotic Manipulation

要約

人間は、観察の中で物体の正体と位置の両方を認識することによってシーンを解釈します。
ロボットが \enquote{ピックして配置する} などのタスクを実行するには、オブジェクトが何であるか、およびオブジェクトがどこに配置されているかの両方を理解することが重要です。
前者については、大規模言語モデルを使用してテキストの説明を充実させるという方法が文献で広く議論されていますが、後者についてはまだ調査が進んでいません。
この研究では、位置キューを使用して高度にセマンティックで情報密度の高い言語命令を拡張する \textit{オブジェクト中心命令拡張 (OCI)} フレームワークを導入します。
マルチモーダル大規模言語モデル (MLLM) を利用して、オブジェクトの位置に関する知識を自然言語命令に織り込み、ポリシー ネットワークが多用途の操作のためのアクションを習得するのを支援します。
さらに、既製の事前トレーニング済み MLLM のビジョン言語機能をポリシー ネットワークに統合するための機能再利用メカニズムを紹介します。
一連のシミュレートされた現実世界のロボットタスクを通じて、強化された命令で訓練されたロボットマニピュレーター模倣ポリシーが、従来の言語命令のみに依存するポリシーよりも優れていることを実証します。

要約(オリジナル)

Humans interpret scenes by recognizing both the identities and positions of objects in their observations. For a robot to perform tasks such as \enquote{pick and place}, understanding both what the objects are and where they are located is crucial. While the former has been extensively discussed in the literature that uses the large language model to enrich the text descriptions, the latter remains underexplored. In this work, we introduce the \textit{Object-Centric Instruction Augmentation (OCI)} framework to augment highly semantic and information-dense language instruction with position cues. We utilize a Multi-modal Large Language Model (MLLM) to weave knowledge of object locations into natural language instruction, thus aiding the policy network in mastering actions for versatile manipulation. Additionally, we present a feature reuse mechanism to integrate the vision-language features from off-the-shelf pre-trained MLLM into policy networks. Through a series of simulated and real-world robotic tasks, we demonstrate that robotic manipulator imitation policies trained with our enhanced instructions outperform those relying solely on traditional language instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google