GraspLDM: Generative 6-DoF Grasp Synthesis using Latent Diffusion Models

要約

非構造化環境における未知の物体を視覚に基づいて把握することは、自律ロボット操作にとって重要な課題です。
実用的な把握合成システムは、タスク関連の把握を実行できる多様な 6-DoF 把握のセットを生成する必要があります。
生成モデルはこのような複雑なデータ分布の学習には適していますが、既存のモデルには把握品質に限界があり、トレーニング時間が長く、タスク固有の生成には柔軟性がありません。
この研究では、VAE の潜在空間における事前分布として拡散モデルを使用する 6-DoF 把握合成のためのモジュール式生成フレームワークである GraspLDM を紹介します。
GraspLDM は、点群を条件としたオブジェクト中心の $SE(3)$ 把握ポーズの生成モデルを学習します。
GraspLDM のアーキテクチャを使用すると、コストのかかる再トレーニングが必要な既存のモデルとは対照的に、低次元の潜在空間で小規模なノイズ除去ネットワークを再トレーニングするだけで、タスク固有のモデルを効率的にトレーニングできます。
私たちのフレームワークは、完全な点群と単一ビューの点群の両方で堅牢でスケーラブルなモデルを提供します。
シミュレーション データでトレーニングされた GraspLDM モデルは現実世界に適切に転送され、さまざまなテスト オブジェクトの 80 回の把握試行に対して 80\% の成功率を実現し、既存の生成モデルよりも向上しています。
私たちの実装は https://github.com/kuldeepbrd1/graspldm で利用可能です。

要約(オリジナル)

Vision-based grasping of unknown objects in unstructured environments is a key challenge for autonomous robotic manipulation. A practical grasp synthesis system is required to generate a diverse set of 6-DoF grasps from which a task-relevant grasp can be executed. Although generative models are suitable for learning such complex data distributions, existing models have limitations in grasp quality, long training times, and a lack of flexibility for task-specific generation. In this work, we present GraspLDM- a modular generative framework for 6-DoF grasp synthesis that uses diffusion models as priors in the latent space of a VAE. GraspLDM learns a generative model of object-centric $SE(3)$ grasp poses conditioned on point clouds. GraspLDM’s architecture enables us to train task-specific models efficiently by only re-training a small de-noising network in the low-dimensional latent space, as opposed to existing models that need expensive re-training. Our framework provides robust and scalable models on both full and single-view point clouds. GraspLDM models trained with simulation data transfer well to the real world and provide an 80\% success rate for 80 grasp attempts of diverse test objects, improving over existing generative models. We make our implementation available at https://github.com/kuldeepbrd1/graspldm .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google