NeRF-Based Transparent Object Grasping Enhanced by Shape Priors

要約

透明なオブジェクトの把握は、主に正確な3D情報を取得することが難しいため、ロボット工学における永続的な課題のままです。
従来の光学3Dセンサーは、透明なオブジェクトをキャプチャするのに苦労しており、機械学習方法は、高品質のデータセットへの依存によって妨げられることがよくあります。
継続的な空間不透明モデリングのNERFの機能を活用すると、提案されたアーキテクチャは、透明なオブジェクトの3D情報を再構築するためのNERFベースのアプローチを統合します。
それにもかかわらず、再構築された3D情報の特定の部分は不完全なままである可​​能性があります。
これらの欠陥に対処するために、私たちが開発した幾何学的なポーズ推定方法によってさらに洗練された形状駆動型の完了メカニズムを導入します。
これにより、透明なオブジェクトの完全で信頼できる3D情報を取得できます。
この洗練されたデータを利用して、シーンレベルの把握予測を実行し、実際のロボットシステムに結果を展開します。
実験的検証は、私たちのアーキテクチャの有効性を示しており、散らかったシーンでさまざまな透明なオブジェクトの3D情報を確実にキャプチャする能力を示し、それに対応して、高品質、馬小屋、実行可能な把握予測を実現します。

要約(オリジナル)

Transparent object grasping remains a persistent challenge in robotics, largely due to the difficulty of acquiring precise 3D information. Conventional optical 3D sensors struggle to capture transparent objects, and machine learning methods are often hindered by their reliance on high-quality datasets. Leveraging NeRF’s capability for continuous spatial opacity modeling, our proposed architecture integrates a NeRF-based approach for reconstructing the 3D information of transparent objects. Despite this, certain portions of the reconstructed 3D information may remain incomplete. To address these deficiencies, we introduce a shape-prior-driven completion mechanism, further refined by a geometric pose estimation method we have developed. This allows us to obtain a complete and reliable 3D information of transparent objects. Utilizing this refined data, we perform scene-level grasp prediction and deploy the results in real-world robotic systems. Experimental validation demonstrates the efficacy of our architecture, showcasing its capability to reliably capture 3D information of various transparent objects in cluttered scenes, and correspondingly, achieve high-quality, stables, and executable grasp predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google