Non-Prehensile Tool-Object Manipulation by Integrating LLM-Based Planning and Manoeuvrability-Driven Controls

要約

道具を扱う能力はかつては人間の知性だけが持つものと考えられていましたが、現在ではカラスのような他の多くの動物がこの能力を持っていることが知られています。
しかし、ロボットシステムは依然として生物学的器用さに匹敵するものには達していません。
この論文では、わかりにくいツールベースの操作タスクに対する大規模言語モデル (LLM)、ツール アフォーダンス、およびオブジェクトの操作性の使用について調査します。
私たちの新しい方法では、シーン情報と自然言語命令に基づく LLM を活用して、ツール オブジェクト操作のための記号的なタスク プランニングを可能にします。
このアプローチにより、システムは人間の言語の文を一連の実行可能な運動関数に変換できます。
私たちは、視覚的なフィードバックから導き出された新しいツール アフォーダンス モデルを使用して、新しい操作性主導型コントローラーを開発しました。
このコントローラーは、ステップインクリメンタルアプローチを使用して、たとえ狭いエリア内であってもロボットのツールの利用と操作動作をガイドするのに役立ちます。
提案された方法論は、さまざまな操作シナリオの下でその有効性を証明するために実験によって評価されます。

要約(オリジナル)

The ability to wield tools was once considered exclusive to human intelligence, but it’s now known that many other animals, like crows, possess this capability. Yet, robotic systems still fall short of matching biological dexterity. In this paper, we investigate the use of Large Language Models (LLMs), tool affordances, and object manoeuvrability for non-prehensile tool-based manipulation tasks. Our novel method leverages LLMs based on scene information and natural language instructions to enable symbolic task planning for tool-object manipulation. This approach allows the system to convert the human language sentence into a sequence of feasible motion functions. We have developed a novel manoeuvrability-driven controller using a new tool affordance model derived from visual feedback. This controller helps guide the robot’s tool utilization and manipulation actions, even within confined areas, using a stepping incremental approach. The proposed methodology is evaluated with experiments to prove its effectiveness under various manipulation scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google