Non-Prehensile Tool-Object Manipulation by Integrating LLM-Based Planning and Manoeuvrability-Driven Controls

要約

ツールを使用できることは、種全体の知性の広く認識されている指標です。
たとえば、人間は200万年以上にわたってツールの使用の習得を実証しています。
ツールを使用する能力は、生物の範囲を広げ、オブジェクトや環境と相互作用する能力を高めるため、非常に貴重です。
ツールオブジェクト環境間の幾何学的メカニカルな関係を理解できるため、特定の種（類人猿やカラスなど）が狭い制約のあるスペースで食物に到達することができます。
物理的増強の同じ原則とそれに関連する非摂食操作能力もロボットシステムにも適用されます。
たとえば、さまざまなタイプのエンド効果を使用してそれらを計装することにより、ロボットは（原則として）生物学的な対応物に似たさまざまな形状と質量のオブジェクトと巧みに相互作用する（たとえば、プッシュとフリップ）ことができます。
ただし、このタイプの操作スキルを開発することは、依然としてオープンな研究問題です。
さらに、特にデュアルアームロボットの行動を調整する際の計画ツールオブジェクト操作タスクの複雑さは、重要な課題を提示します。
これらの複雑さに対処するために、これらの複雑な操作の計画と実行を支援するために、大規模な言語モデル（LLM）を統合することを提案し、それにより多様なシナリオで実行するロボットの能力を高めます。

要約(オリジナル)

Being able to use tools is a widely recognised indicator of intelligence across species. Humans, for instance, have demonstrated mastery of tool use for over two million years. The ability to use tools is invaluable as it extends an organism’s reach and enhances its capacity to interact with objects and the environment. Being able to understand the geometric-mechanical relations between the tools-objects-environments allows certain species (e.g., apes and crows) to reach food in narrow constrained spaces. The same principles of physical augmentation and its associated non-prehensile manipulation capabilities also apply to robotic systems. For example, by instrumenting them with different types of end-effectors, robots can (in principle) dexterously interact (e.g., push and flip) with objects of various shapes and masses akin to its biological counterpart. However, developing this type of manipulation skill is still an open research problem. Furthermore, the complexity of planning tool-object manipulation tasks, particularly in coordinating the actions of dual-arm robots, presents significant challenges. To address these complexities, we propose integrating Large Language Models (LLMs) to assist in planning and executing these intricate manipulations, thereby enhancing the robot’s ability to perform in diverse scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google