FuseGrasp: Radar-Camera Fusion for Robotic Grasping of Transparent Objects

要約

透明なオブジェクトは日常の環境で一般的ですが、それらの明確な物理的特性は、カメラ誘導ロボットアームに大きな課題をもたらします。
現在の研究は、主にカメラのみのアプローチに依存しており、低光環境などの最適ではない状態でしばしば動きます。
この課題に応えて、透明なオブジェクトの操作を強化するように調整された最初のレーダーカメラ融合システムであるFuseGraspを提示します。
Fusegraspは、透明な材料を不透明にし、ロボットアームの正確なモーション制御と組み合わせて、透明オブジェクトの高品質のMMWaveレーダー画像を取得するため、透明な材料を不透明にします。
このシステムは、慎重に設計されたディープニューラルネットワークを採用してレーダーとカメラの画像を融合し、深さの完了を改善し、オブジェクトの成功率を把握します。
それにもかかわらず、透明なオブジェクトのレーダー画像データセットが限られているため、ヒューズグラスを効果的にトレーニングすることは、事実上ではありません。
大規模なRGB-Dデータセットを利用してこの問題に対処し、効果的な2段階のトレーニングアプローチを提案します。最初に透明オブジェクトの大規模なRGB-Dデータセットで排気前のFuseGraspを前に微調整してから、自己構築された小さなRGB-D-RADARデータセットで微調整します。
さらに、副産物として、FuseGraspは、ガラスやプラスチックなどの透明なオブジェクトの組成を決定し、MMWaveレーダーの材料識別能力を活用します。
この識別結果は、グリップ力を適切に調節する際にロボットアームを容易にします。
広範なテストにより、FuseGraspは、透明オブジェクトの深さ再構成と材料識別の精度を大幅に向上させることが明らかになりました。
さらに、実際のロボット試験により、FuseGraspは透明アイテムの取り扱いを著しく強化することが確認されています。
FuseGraspのビデオデモは、https：//youtu.be/mwdqv0srsokで入手できます。

要約(オリジナル)

Transparent objects are prevalent in everyday environments, but their distinct physical properties pose significant challenges for camera-guided robotic arms. Current research is mainly dependent on camera-only approaches, which often falter in suboptimal conditions, such as low-light environments. In response to this challenge, we present FuseGrasp, the first radar-camera fusion system tailored to enhance the transparent objects manipulation. FuseGrasp exploits the weak penetrating property of millimeter-wave (mmWave) signals, which causes transparent materials to appear opaque, and combines it with the precise motion control of a robotic arm to acquire high-quality mmWave radar images of transparent objects. The system employs a carefully designed deep neural network to fuse radar and camera imagery, thereby improving depth completion and elevating the success rate of object grasping. Nevertheless, training FuseGrasp effectively is non-trivial, due to limited radar image datasets for transparent objects. We address this issue utilizing large RGB-D dataset, and propose an effective two-stage training approach: we first pre-train FuseGrasp on a large public RGB-D dataset of transparent objects, then fine-tune it on a self-built small RGB-D-Radar dataset. Furthermore, as a byproduct, FuseGrasp can determine the composition of transparent objects, such as glass or plastic, leveraging the material identification capability of mmWave radar. This identification result facilitates the robotic arm in modulating its grip force appropriately. Extensive testing reveals that FuseGrasp significantly improves the accuracy of depth reconstruction and material identification for transparent objects. Moreover, real-world robotic trials have confirmed that FuseGrasp markedly enhances the handling of transparent items. A video demonstration of FuseGrasp is available at https://youtu.be/MWDqv0sRSok.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google