RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface Normal Estimation and Manipulation

要約

透明な物体は私たちの日常生活で広く使用されているため、ロボットに透明な物体と対話する方法を教えることが重要です。
ただし、反射と屈折の影響により、RGB-D カメラが正確なジオメトリ測定を行えなくなる可能性があるため、これは簡単ではありません。
この問題を解決するために、この論文では、表面法線推定と透明オブジェクトの操作のための RGB-D ベースの方法である RFTrans を紹介します。
RFTrans は、屈折フローを中間表現として利用することで、RGB 画像からジオメトリ (表面法線など) を直接予測することの欠点を回避し、シミュレーションと実際のギャップを埋めるのに役立ちます。
RFTrans は、屈折流、オブジェクト マスク、境界を予測する RFNet に続いて、屈折流から表面法線を推定する F2Net を統合します。
操作を可能にするために、グローバル最適化モジュールが予測を取り込み、生の深度を調整し、法線を使用して点群を構築します。
分析的把握計画アルゴリズム ISF に従って、把握ポーズが生成されます。
物理的に妥当なレイトレーシング レンダリング技術を使用して合成データセットを構築し、ネットワークをトレーニングします。
結果は、合成データセットでトレーニングされた RFTrans が、合成ベンチマークと現実世界のベンチマークの両方でベースライン ClearGrasp を大幅に上回るパフォーマンスを一貫して発揮できることを示しています。
最後に、現実世界のロボットの掴みタスクでは 83% の成功率が確認され、屈折流がシミュレーションから現実への直接の転送を可能にするのに役立つことが証明されました。
コード、データ、補足資料は https://rftrans.robotflow.ai で入手できます。

要約(オリジナル)

Transparent objects are widely used in our daily lives, making it important to teach robots to interact with them. However, it’s not easy because the reflective and refractive effects can make RGB-D cameras fail to give accurate geometry measurements. To solve this problem, this paper introduces RFTrans, an RGB-D-based method for surface normal estimation and manipulation of transparent objects. By leveraging refractive flow as an intermediate representation, RFTrans circumvents the drawbacks of directly predicting the geometry (e.g. surface normal) from RGB images and helps bridge the sim-to-real gap. RFTrans integrates the RFNet, which predicts refractive flow, object mask, and boundaries, followed by the F2Net, which estimates surface normal from the refractive flow. To make manipulation possible, a global optimization module will take in the predictions, refine the raw depth, and construct the point cloud with normal. An analytical grasp planning algorithm, ISF, is followed to generate the grasp poses. We build a synthetic dataset with physically plausible ray-tracing rendering techniques to train the networks. Results show that the RFTrans trained on the synthetic dataset can consistently outperform the baseline ClearGrasp in both synthetic and real-world benchmarks by a large margin. Finally, a real-world robot grasping task witnesses an 83% success rate, proving that refractive flow can help enable direct sim-to-real transfer. The code, data, and supplementary materials are available at https://rftrans.robotflow.ai.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google