DefGraspNets: Grasp Planning on 3D Fields with Graph Neural Nets

要約

3D 変形可能オブジェクトのロボットによる把持は、食品の取り扱いやロボット手術などの実世界のアプリケーションにとって重要です。
剛体や多関節オブジェクトとは異なり、3D 変形可能オブジェクトには無限の自由度があります。
それらの状態を完全に定義するには、3D の変形と応力場が必要ですが、これらを分析的に計算したり、実験的に測定したりすることは非常に困難です。
したがって、通常、把握計画の把握候補を評価するには、正確ではあるが低速の 3D 有限要素法 (FEM) シミュレーションが必要です。
サンプリングベースの把握計画は、多数の把握候補の評価を必要とするため、多くの場合非現実的です。
勾配ベースの把握計画はより効率的ですが、初期候補から最適な把握を合成するには微分可能なモデルが必要です。
微分可能な FEM シミュレータがこの役割を果たしますが、通常は標準の FEM よりも高速ではありません。
この作業では、微分可能なモデルとして機能する予測グラフ ニューラル ネットワーク (GNN)、DefGraspNets を学習することを提案します。
DefGraspNets をトレーニングして、FEM ベースの把握シミュレーションに基づいて 3D 応力および変形場を予測します。
DefGraspNets は、FEM シミュレーターよりも最大 1500 倍高速に実行されるだけでなく、3D 応力および変形メトリクスに対する勾配ベースの高速把握最適化も可能にします。
DefGraspNets は、実世界の把握計画の実践に合わせて設計され、実世界の実験を含む複数のテスト セットにわたる一般化を示します。

要約(オリジナル)

Robotic grasping of 3D deformable objects is critical for real-world applications such as food handling and robotic surgery. Unlike rigid and articulated objects, 3D deformable objects have infinite degrees of freedom. Fully defining their state requires 3D deformation and stress fields, which are exceptionally difficult to analytically compute or experimentally measure. Thus, evaluating grasp candidates for grasp planning typically requires accurate, but slow 3D finite element method (FEM) simulation. Sampling-based grasp planning is often impractical, as it requires evaluation of a large number of grasp candidates. Gradient-based grasp planning can be more efficient, but requires a differentiable model to synthesize optimal grasps from initial candidates. Differentiable FEM simulators may fill this role, but are typically no faster than standard FEM. In this work, we propose learning a predictive graph neural network (GNN), DefGraspNets, to act as our differentiable model. We train DefGraspNets to predict 3D stress and deformation fields based on FEM-based grasp simulations. DefGraspNets not only runs up to 1500 times faster than the FEM simulator, but also enables fast gradient-based grasp optimization over 3D stress and deformation metrics. We design DefGraspNets to align with real-world grasp planning practices and demonstrate generalization across multiple test sets, including real-world experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google