Task-Aware Robotic Grasping by evaluating Quality Diversity Solutions through Foundation Models

要約

タスク認識ロボットによる把握は、意味論的理解と幾何学的推論の統合を必要とする難しい問題です。
従来の把握計画アプローチは、安定した把握または実現可能な把握に重点を置き、ロボットが達成する必要がある特定のタスクを無視することがよくありました。
この論文では、大規模言語モデル (LLM) と品質ダイバーシティ (QD) アルゴリズムを活用して、ゼロショット タスク条件付き把握選択を可能にする新しいフレームワークを提案します。
フレームワークはオブジェクトを意味のあるサブパートに分割し、各サブパートに意味論的なラベルを付けて、LLM を促すために使用できる構造化表現を作成します。
オブジェクトの構造の意味表現と幾何学的表現を組み合わせることで、タスクや把握すべき部分に関する LLM の知識を物理世界に適用できます。
QD で生成された把握アーカイブには多様な把握のセットが用意されており、タスクに基づいて最適な把握を選択できます。
提案された手法を YCB データセットのサブセットで評価します。ここでは、フランカ エミカ ロボットがオブジェクト固有のタスク要件に基づいてさまざまなアクションを実行するように割り当てられます。
人間の直感に従って、タスクとオブジェクトの組み合わせごとに最適な把握領域を決定するために、6 人の参加者にアンケートを実施することで、グラウンド トゥルースを作成しました。
このモデルは、4 ～ 7 つのオブジェクト固有のタスクにわたる 12 の異なるオブジェクトで評価され、調査データと比較した場合、76.4% の加重積和集合 (IoU) を達成しました。

要約(オリジナル)

Task-aware robotic grasping is a challenging problem that requires the integration of semantic understanding and geometric reasoning. Traditional grasp planning approaches focus on stable or feasible grasps, often disregarding the specific tasks the robot needs to accomplish. This paper proposes a novel framework that leverages Large Language Models (LLMs) and Quality Diversity (QD) algorithms to enable zero-shot task-conditioned grasp selection. The framework segments objects into meaningful subparts and labels each subpart semantically, creating structured representations that can be used to prompt an LLM. By coupling semantic and geometric representations of an object’s structure, the LLM’s knowledge about tasks and which parts to grasp can be applied in the physical world. The QD-generated grasp archive provides a diverse set of grasps, allowing us to select the most suitable grasp based on the task. We evaluate the proposed method on a subset of the YCB dataset, where a Franka Emika robot is assigned to perform various actions based on object-specific task requirements. We created a ground truth by conducting a survey with six participants to determine the best grasp region for each task-object combination according to human intuition. The model was evaluated on 12 different objects across 4–7 object-specific tasks, achieving a weighted intersection over union (IoU) of 76.4% when compared to the survey data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google