AffordDexGrasp: Open-set Language-guided Dexterous Grasp with Generalizable-Instructive Affordance

要約

言語誘導ロボットの器用な生成により、ロボットは人間のコマンドに基づいてオブジェクトを把握および操作できます。
ただし、以前のデータ駆動型メソッドは、意図を理解し、オープンセットの目に見えないカテゴリで把握を実行するのは困難です。
この作業では、新しいタスク、オープンセットの言語誘導器用な巧妙な把握を探り、主な課題は高レベルの人間言語セマンティクスと低レベルのロボットアクションの大きなギャップであることがわかります。
この問題を解決するために、新しい一般化可能なイントラクティブなアフォーダンス表現でギャップを埋めるという洞察を得て、アフォーダンスの器用な把握（affordexgrasp）フレームワークを提案します。
このアフォーダンスは、オブジェクトのローカル構造とカテゴリに依存しないセマンティック属性を活用することにより、目に見えないカテゴリに一般化することができ、それにより、器用な把握の生成を効果的に導きます。
アフォーダンスに基づいて構築された私たちのフレームワークは、アフォーダンス生成のためのAfforeCne Flow Matter（AFM）を入力として導入し、入力としてアフォーダンスを備えた器用な把握を生成するためのフローマッチング（GFM）を把握します。
フレームワークを評価するために、オープンセットのテーブルトップ言語誘導器具把握データセットを構築します。
シミュレーションと現実の世界での広範な実験は、私たちのフレームワークが以前のすべての方法をオープンセット一般化のすべての方法を上回っていることを示しています。

要約(オリジナル)

Language-guided robot dexterous generation enables robots to grasp and manipulate objects based on human commands. However, previous data-driven methods are hard to understand intention and execute grasping with unseen categories in the open set. In this work, we explore a new task, Open-set Language-guided Dexterous Grasp, and find that the main challenge is the huge gap between high-level human language semantics and low-level robot actions. To solve this problem, we propose an Affordance Dexterous Grasp (AffordDexGrasp) framework, with the insight of bridging the gap with a new generalizable-instructive affordance representation. This affordance can generalize to unseen categories by leveraging the object’s local structure and category-agnostic semantic attributes, thereby effectively guiding dexterous grasp generation. Built upon the affordance, our framework introduces Affordacne Flow Matching (AFM) for affordance generation with language as input, and Grasp Flow Matching (GFM) for generating dexterous grasp with affordance as input. To evaluate our framework, we build an open-set table-top language-guided dexterous grasp dataset. Extensive experiments in the simulation and real worlds show that our framework surpasses all previous methods in open-set generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google