6-DoF Grasp Pose Evaluation and Optimization via Transfer Learning from NeRFs

要約

私たちは、暗黙的な動作のクローン作成を使用して、既知および未知のオブジェクトのロボットによる把握の問題に取り組みます。
少数のデモンストレーションから、掴みに成功する可能性が高い掴み候補に対してより高い値を出力する掴み評価モデルをトレーニングします。
この評価モデルは目的関数として機能し、成功した把握を識別するために最大化します。
私たちのアプローチの鍵となるのは、事前にトレーニングされた NeRF から派生した視覚的および幾何学的特徴の学習された暗黙的表現の利用です。
私たちの評価モデルと最適化手順は、単純化されたオブジェクトと 4-DoF のトップダウン把握を使用したシミュレートされた環境のみでトレーニングされていますが、追加の設定を必要とせずに、シミュレーションと現実世界の設定の両方で 6-DoF の把握と新しいオブジェクトへの一般化を示しています。
データ。
補足資料は https://gergely-soti.github.io/grasp から入手できます。

要約(オリジナル)

We address the problem of robotic grasping of known and unknown objects using implicit behavior cloning. We train a grasp evaluation model from a small number of demonstrations that outputs higher values for grasp candidates that are more likely to succeed in grasping. This evaluation model serves as an objective function, that we maximize to identify successful grasps. Key to our approach is the utilization of learned implicit representations of visual and geometric features derived from a pre-trained NeRF. Though trained exclusively in a simulated environment with simplified objects and 4-DoF top-down grasps, our evaluation model and optimization procedure demonstrate generalization to 6-DoF grasps and novel objects both in simulation and in real-world settings, without the need for additional data. Supplementary material is available at: https://gergely-soti.github.io/grasp

arxiv情報

提供元, 利用サービス

arxiv.jp, Google