FDCT: Fast Depth Completion for Transparent Objects

要約

深度の完了は、自動運転、3D 再構築、操作などの多くのロボット タスクにとって重要です。
大幅な進歩にもかかわらず、既存の手法は依然として計算量が多く、低電力ロボット プラットフォームのリアルタイム要件を満たせないことがよくあります。
さらに、ほとんどの方法は不透明なオブジェクト用に設計されており、反射と屈折の特殊な特性により透明なオブジェクトでは困難を伴います。
これらの課題に対処するために、透明オブジェクト用の高速深度完了フレームワーク (FDCT) を提案します。これは、オブジェクトの姿勢推定などの下流タスクにも利益をもたらします。
ローカル情報を活用し、グローバル情報と統合する際の過適合の問題を回避するために、低レベルの機能と損失関数を利用して過適合を抑制する新しい融合ブランチとショートカットを設計します。
これにより、RGB-D 画像のみから高密度の深度推定を復元できる、正確でユーザーフレンドリーな深度補正フレームワークが実現します。
広範な実験により、FDCT は最先端の方法よりも高い精度で約 70 FPS を実行できることが実証されています。
また、FDCT が物体把握タスクにおける姿勢推定を改善できることも示します。
ソース コードは https://github.com/Nonmy/FDCT で入手できます。

要約(オリジナル)

Depth completion is crucial for many robotic tasks such as autonomous driving, 3-D reconstruction, and manipulation. Despite the significant progress, existing methods remain computationally intensive and often fail to meet the real-time requirements of low-power robotic platforms. Additionally, most methods are designed for opaque objects and struggle with transparent objects due to the special properties of reflection and refraction. To address these challenges, we propose a Fast Depth Completion framework for Transparent objects (FDCT), which also benefits downstream tasks like object pose estimation. To leverage local information and avoid overfitting issues when integrating it with global information, we design a new fusion branch and shortcuts to exploit low-level features and a loss function to suppress overfitting. This results in an accurate and user-friendly depth rectification framework which can recover dense depth estimation from RGB-D images alone. Extensive experiments demonstrate that FDCT can run about 70 FPS with a higher accuracy than the state-of-the-art methods. We also demonstrate that FDCT can improve pose estimation in object grasping tasks. The source code is available at https://github.com/Nonmy/FDCT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google