ASGrasp: Generalizable Transparent Object Reconstruction and Grasping from RGB-D Active Stereo Camera

要約

この論文では、透明および鏡面のオブジェクトを把握する問題に取り組みます。
この問題は重要ですが、深度カメラによって正確な形状を復元できないため、ロボット工学の分野では未解決のままです。
我々は初めて、RGB-D アクティブ ステレオ カメラを使用する 6-DoF 把握検出ネットワークである ASGrasp を提案します。
ASGrasp は、透明なオブジェクトの再構築を目的として 2 層の学習ベースのステレオ ネットワークを利用し、乱雑な環境でも材質に依存しないオブジェクトの把握を可能にします。
深度復元ネットワークと深度カメラによって生成された深度マップの品質に大きく依存する既存の RGB-D ベースの把握検出方法とは対照的に、当社のシステムは、透明オブジェクトのジオメトリの再構成に生の IR および RGB 画像を直接利用できるという点で優れています。
。
GraspNet-1Billion に基づくドメインのランダム化を通じて大規模な合成データセットを作成します。
私たちの実験では、ASGrasp がシームレスなシミュレーションからリアルへの転送を介して、シミュレーションと現実の両方で一般化可能な透明オブジェクトの把握に 90% 以上の成功率を達成できることを実証しました。
私たちの手法は SOTA ネットワークを大幅に上回り、完全な可視点群入力によって設定されたパフォーマンスの上限も超えています。プロジェクト ページ: https://pku-epic.github.io/ASGrasp

要約(オリジナル)

In this paper, we tackle the problem of grasping transparent and specular objects. This issue holds importance, yet it remains unsolved within the field of robotics due to failure of recover their accurate geometry by depth cameras. For the first time, we propose ASGrasp, a 6-DoF grasp detection network that uses an RGB-D active stereo camera. ASGrasp utilizes a two-layer learning-based stereo network for the purpose of transparent object reconstruction, enabling material-agnostic object grasping in cluttered environments. In contrast to existing RGB-D based grasp detection methods, which heavily depend on depth restoration networks and the quality of depth maps generated by depth cameras, our system distinguishes itself by its ability to directly utilize raw IR and RGB images for transparent object geometry reconstruction. We create an extensive synthetic dataset through domain randomization, which is based on GraspNet-1Billion. Our experiments demonstrate that ASGrasp can achieve over 90% success rate for generalizable transparent object grasping in both simulation and the real via seamless sim-to-real transfer. Our method significantly outperforms SOTA networks and even surpasses the performance upper bound set by perfect visible point cloud inputs.Project page: https://pku-epic.github.io/ASGrasp

arxiv情報

提供元, 利用サービス

arxiv.jp, Google