GraspMolmo: Generalizable Task-Oriented Grasping via Large-Scale Synthetic Data Generation

要約

一般化可能なオープンボキャブラリータスク指向の握り（TOG）モデルであるGrasmolmoを紹介します。
Graspmolmoは、自然言語の指示と単一のRGB-Dフレームを条件付けした意味的に適切な安定した握りを予測します。
たとえば、「お茶を注ぐ」を考えると、Graspmolmoはその体ではなくティーポットハンドルを把握します。
小さなデータセット、単純な言語、整理されていないシーンによって制限されている以前のTOGメソッドとは異なり、GraspmolmoはPrismから学びます。これは、乱雑な環境と多様で現実的なタスクの説明を特徴とする379kサンプルの新しい大規模な合成データセットです。
このデータに関するMolmo Visual-Languageモデルを微調整して、Graspmolmoが新しいオープンボキャブラリーの指示とオブジェクトに一般化できるようにします。
挑戦的な現実世界の評価では、Graspmolmoは、次の最高の代替手段によって達成された35％と比較して、複雑なタスクで70％の予測の成功を収めて、最先端の結果を達成します。
Graspmolmoはまた、意味的に修正されたバイマニュアルグラスクゼロショットを予測する能力を成功裏に実証しています。
合成データセット、コード、モデル、およびベンチマークをリリースして、タスクセマンティックロボット操作の研究を加速します。これは、ビデオとともにhttps://abhaybd.github.io/graspmolmo/で入手できます。

要約(オリジナル)

We present GrasMolmo, a generalizable open-vocabulary task-oriented grasping (TOG) model. GraspMolmo predicts semantically appropriate, stable grasps conditioned on a natural language instruction and a single RGB-D frame. For instance, given ‘pour me some tea’, GraspMolmo selects a grasp on a teapot handle rather than its body. Unlike prior TOG methods, which are limited by small datasets, simplistic language, and uncluttered scenes, GraspMolmo learns from PRISM, a novel large-scale synthetic dataset of 379k samples featuring cluttered environments and diverse, realistic task descriptions. We fine-tune the Molmo visual-language model on this data, enabling GraspMolmo to generalize to novel open-vocabulary instructions and objects. In challenging real-world evaluations, GraspMolmo achieves state-of-the-art results, with a 70% prediction success on complex tasks, compared to the 35% achieved by the next best alternative. GraspMolmo also successfully demonstrates the ability to predict semantically correct bimanual grasps zero-shot. We release our synthetic dataset, code, model, and benchmarks to accelerate research in task-semantic robotic manipulation, which, along with videos, are available at https://abhaybd.github.io/GraspMolmo/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google