SR3D: Unleashing Single-view 3D Reconstruction for Transparent and Specular Object Grasping

要約

3Dロボット操作の最近の進歩により、日常のオブジェクトの把握が改善されましたが、深さの検知の制限により、透明で鏡面の素材が依然として困難なままです。
いくつかの3D再構成と深さ完了アプローチはこれらの課題に対処しますが、セットアップの複雑さまたは限られた観察情報の利用に苦しんでいます。
これに対処するために、シングルビュー3Dオブジェクト再構成アプローチの力を活用するために、単一ビューの観察から透明で鏡面オブジェクトのロボット把握を可能にするトレーニングフリーフレームワークSR3Dを提案します。
具体的には、シングルビューRGBおよび深度画像が与えられたSR3Dは、最初に外部視覚モデルを使用して、RGB画像に基づいて3D再構成されたオブジェクトメッシュを生成します。
次に、重要なアイデアは、3Dオブジェクトのポーズとスケールを決定して、再構築されたオブジェクトを元の深さ破損した3Dシーンに正確にローカライズすることです。
したがって、ビューマッチングおよびキーポイントマッチングメカニズムを提案します。これは、観察中の2Dおよび3Dの固有のセマンティック情報と幾何学的情報の両方を活用して、シーン内のオブジェクトの3D状態を決定し、それによって効果的な把持検出のために正確な3D深度マップを再構築します。
シミュレーションと現実世界の両方での実験は、SR3Dの再構築効果を示しています。

要約(オリジナル)

Recent advancements in 3D robotic manipulation have improved grasping of everyday objects, but transparent and specular materials remain challenging due to depth sensing limitations. While several 3D reconstruction and depth completion approaches address these challenges, they suffer from setup complexity or limited observation information utilization. To address this, leveraging the power of single view 3D object reconstruction approaches, we propose a training free framework SR3D that enables robotic grasping of transparent and specular objects from a single view observation. Specifically, given single view RGB and depth images, SR3D first uses the external visual models to generate 3D reconstructed object mesh based on RGB image. Then, the key idea is to determine the 3D object’s pose and scale to accurately localize the reconstructed object back into its original depth corrupted 3D scene. Therefore, we propose view matching and keypoint matching mechanisms,which leverage both the 2D and 3D’s inherent semantic and geometric information in the observation to determine the object’s 3D state within the scene, thereby reconstructing an accurate 3D depth map for effective grasp detection. Experiments in both simulation and real world show the reconstruction effectiveness of SR3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google