Grasp as You Say: Language-guided Dexterous Grasp Generation

要約

この論文では、自然言語で表現された人間のコマンドに基づいてロボットが器用な把握を実行できるようにする、新しいタスク「Dexterous Grasp as You Say」(DexGYS) について検討します。
しかし、この分野の発展は、人間による自然な指導によるデータセットの欠如によって妨げられています。
したがって、我々は、柔軟できめの細かい人間の言語ガイダンスとともに、高品質の器用な把握アノテーションを提供する、DexGYSNet という名前の言語ガイド付きの器用な把握データセットを提案します。
当社のデータセット構築は、慎重に設計された手とオブジェクトのインタラクションのリターゲティング戦略と、LLM 支援の言語ガイダンス アノテーション システムにより、コスト効率が高くなります。
このデータセットを使用して、人間の言語の指示に基づいて器用な把握を生成するための DexGYSGrasp フレームワークを導入します。これは、意図に沿った、高品質で多様性のある把握を生成する機能を備えています。
この機能を達成するために、私たちのフレームワークは複雑な学習プロセスを 2 つの管理可能な段階的な目標に分解し、それらを実現するための 2 つのコンポーネントを導入します。
最初のコンポーネントは、意図の一致と世代の多様性に焦点を当てた把握分布を学習します。
そして 2 番目のコンポーネントは、意図の一貫性を維持しながら把握の質を向上させます。
検証のために、DexGYSNet と現実世界の環境で広範な実験が行われます。

要約(オリジナル)

This paper explores a novel task ‘Dexterous Grasp as You Say’ (DexGYS), enabling robots to perform dexterous grasping based on human commands expressed in natural language. However, the development of this field is hindered by the lack of datasets with natural human guidance; thus, we propose a language-guided dexterous grasp dataset, named DexGYSNet, offering high-quality dexterous grasp annotations along with flexible and fine-grained human language guidance. Our dataset construction is cost-efficient, with the carefully-design hand-object interaction retargeting strategy, and the LLM-assisted language guidance annotation system. Equipped with this dataset, we introduce the DexGYSGrasp framework for generating dexterous grasps based on human language instructions, with the capability of producing grasps that are intent-aligned, high quality and diversity. To achieve this capability, our framework decomposes the complex learning process into two manageable progressive objectives and introduce two components to realize them. The first component learns the grasp distribution focusing on intention alignment and generation diversity. And the second component refines the grasp quality while maintaining intention consistency. Extensive experiments are conducted on DexGYSNet and real world environments for validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google