Understanding Physical Properties of Unseen Deformable Objects by Leveraging Large Language Models and Robot Actions

要約

この論文では、オブジェクトとロボット間の相互作用を通じて、目に見えないオブジェクトの物理的特性を理解する問題を検討します。
変形性などの特別な特性を備えた目に見えないオブジェクトを処理することは、従来のタスクとモーション計画のアプローチに挑戦します。
大規模な言語モデル（LLMS）ベースのタスク計画における最近の結果は、目に見えないオブジェクトについて推論する能力を示しています。
ただし、ほとんどの研究では、物理的特性を見下ろす剛性オブジェクトを想定しています。
タスク計画を目的として、目に見えない変形可能なオブジェクトの物理的特性を調査するためのLLMベースの方法を提案します。
特定のオブジェクトプロパティのセット（折りたたみ性、曲げ可能性など）について、この方法では、ロボットアクションを使用して、オブジェクトと相互作用することでプロパティを決定します。
LLMおよびロボットアクションによって調査されたプロパティに基づいて、LLMはオブジェクトパッキングなどの特定のドメインのタスク計画を生成します。
実験では、提案された方法が変形可能なオブジェクトのプロパティを識別できることを示します。これは、プロパティが成功するために重要な役割を果たすビンパッキングタスクにさらに使用されます。

要約(オリジナル)

In this paper, we consider the problem of understanding the physical properties of unseen objects through interactions between the objects and a robot. Handling unseen objects with special properties such as deformability is challenging for traditional task and motion planning approaches as they are often with the closed world assumption. Recent results in Large Language Models (LLMs) based task planning have shown the ability to reason about unseen objects. However, most studies assume rigid objects, overlooking their physical properties. We propose an LLM-based method for probing the physical properties of unseen deformable objects for the purpose of task planning. For a given set of object properties (e.g., foldability, bendability), our method uses robot actions to determine the properties by interacting with the objects. Based on the properties examined by the LLM and robot actions, the LLM generates a task plan for a specific domain such as object packing. In the experiment, we show that the proposed method can identify properties of deformable objects, which are further used for a bin-packing task where the properties take crucial roles to succeed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google