Non-Prehensile Tool-Object Manipulation by Integrating LLM-Based Planning and Manoeuvrability-Driven Controls

要約

ツールを装備する能力はかつて人間の知性に排他的であると考えられていましたが、現在、カラスのような他の多くの動物がこの能力を持っていることが知られています。
しかし、ロボットシステムはまだ生物学的器用さの一致には至らない。
このホワイトペーパーでは、非摂食ツールベースの操作タスクに大規模な言語モデル（LLM）、ツールアフォーダンス、およびオブジェクト操作可能性の使用を調査します。
私たちの新しい方法は、シーン情報と自然言語の指示に基づいてLLMを活用して、ツールオブジェクト操作の象徴的なタスク計画を可能にします。
このアプローチにより、システムは人間の言語文を一連の実行可能な動き関数に変換できます。
視覚的なフィードバックから派生した新しいツールアフォーダンスモデルを使用して、新しいマネーブリビリティ駆動型コントローラーを開発しました。
このコントローラーは、限られた領域内であっても、ステッピングインクリメンタルアプローチを使用して、ロボットのツール利用および操作アクションを導くのに役立ちます。
提案された方法論は、さまざまな操作シナリオの下でその有効性を証明するために実験で評価されます。

要約(オリジナル)

The ability to wield tools was once considered exclusive to human intelligence, but it’s now known that many other animals, like crows, possess this capability. Yet, robotic systems still fall short of matching biological dexterity. In this paper, we investigate the use of Large Language Models (LLMs), tool affordances, and object manoeuvrability for non-prehensile tool-based manipulation tasks. Our novel method leverages LLMs based on scene information and natural language instructions to enable symbolic task planning for tool-object manipulation. This approach allows the system to convert the human language sentence into a sequence of feasible motion functions. We have developed a novel manoeuvrability-driven controller using a new tool affordance model derived from visual feedback. This controller helps guide the robot’s tool utilization and manipulation actions, even within confined areas, using a stepping incremental approach. The proposed methodology is evaluated with experiments to prove its effectiveness under various manipulation scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google