GRIM: Task-Oriented Grasping with Conditioning on Generative Examples

要約

タスク指向の把握（TOG）は重要な課題を提示し、タスクセマンティクス、オブジェクトアフォーダンス、および特定のタスクのためにオブジェクトを把握する方法を決定する機能的制約を微妙に理解する必要があります。
これらの課題に対処するために、タスク指向の把握のための新しいトレーニングフリーフレームワークであるGrim（反復マッチングを介して再調整を把握）を紹介します。
当初、幾何学的なキューと主成分分析（PCA）に還元されたDINO機能の組み合わせを使用して、粗いアライメント戦略が開発されました。
その後、検索されたメモリインスタンスに関連付けられた完全な把握ポーズは、アライメントされたシーンオブジェクトに転送され、シーンオブジェクト用に生成されたタスクに依存しない幾何学的に安定した握りのセットに対してさらに洗練され、タスクの互換性が優先されます。
既存の学習ベースの方法とは対照的に、Grimは強力な一般化能力を実証し、少数の条件付けの例でのみ堅牢なパフォーマンスを達成します。

要約(オリジナル)

Task-Oriented Grasping (TOG) presents a significant challenge, requiring a nuanced understanding of task semantics, object affordances, and the functional constraints dictating how an object should be grasped for a specific task. To address these challenges, we introduce GRIM (Grasp Re-alignment via Iterative Matching), a novel training-free framework for task-oriented grasping. Initially, a coarse alignment strategy is developed using a combination of geometric cues and principal component analysis (PCA)-reduced DINO features for similarity scoring. Subsequently, the full grasp pose associated with the retrieved memory instance is transferred to the aligned scene object and further refined against a set of task-agnostic, geometrically stable grasps generated for the scene object, prioritizing task compatibility. In contrast to existing learning-based methods, GRIM demonstrates strong generalization capabilities, achieving robust performance with only a small number of conditioning examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google