RGBGrasp: Image-based Object Grasping by Capturing Multiple Views during Robot Arm Movement with Neural Radiance Fields

要約

ロボット研究は、さまざまな形状、材質、質感の物体を把握するという複雑な作業となると、大きなハードルに直面します。
物体把握ミッションのための 3D 洞察を収集するために、特殊な点群カメラや豊富な RGB 視覚データに大きく依存していたこれまでの多くの調査とは異なり、この論文では、RGBGrasp と呼ばれる先駆的なアプローチを紹介します。
この方法は、透明で鏡面のオブジェクトを含む 3D 周囲を認識し、正確な把握を実現するために、限られた RGB ビューのセットに依存します。
私たちの方法では、事前トレーニングされた深度予測モデルを利用して幾何学的制約を確立し、限られた視野条件下でも正確な 3D 構造推定を可能にします。
最後に、ハッシュ エンコーディングと提案サンプラー戦略を統合して、3D 再構築プロセスを大幅に加速します。
これらの革新により、現実世界のシナリオにおけるアルゴリズムの適応性と有効性が大幅に向上します。
包括的な実験検証を通じて、RGBGrasp が幅広いオブジェクト把握シナリオにわたって目覚ましい成功を収め、現実世界のロボット操作タスクの有望なソリューションとして確立されることを実証しました。
私たちのメソッドのデモは、https://sites.google.com/view/rgbgrasp でご覧いただけます。

要約(オリジナル)

Robotic research encounters a significant hurdle when it comes to the intricate task of grasping objects that come in various shapes, materials, and textures. Unlike many prior investigations that heavily leaned on specialized point-cloud cameras or abundant RGB visual data to gather 3D insights for object-grasping missions, this paper introduces a pioneering approach called RGBGrasp. This method depends on a limited set of RGB views to perceive the 3D surroundings containing transparent and specular objects and achieve accurate grasping. Our method utilizes pre-trained depth prediction models to establish geometry constraints, enabling precise 3D structure estimation, even under limited view conditions. Finally, we integrate hash encoding and a proposal sampler strategy to significantly accelerate the 3D reconstruction process. These innovations significantly enhance the adaptability and effectiveness of our algorithm in real-world scenarios. Through comprehensive experimental validation, we demonstrate that RGBGrasp achieves remarkable success across a wide spectrum of object-grasping scenarios, establishing it as a promising solution for real-world robotic manipulation tasks. The demo of our method can be found on: https://sites.google.com/view/rgbgrasp

arxiv情報

提供元, 利用サービス

arxiv.jp, Google