TDCNet: Transparent Objects Depth Completion with CNN-Transformer Dual-Branch Parallel Network

要約

透明な物体の感知と操作は、産業用および実験用ロボット工学において重大な課題となっています。
従来のセンサーは、透明なオブジェクトの表面での光の屈折と反射、および目に見えるテクスチャの欠如により、透明なオブジェクトの深さを完全に取得するという課題に直面しています。
これまでの研究では、深層学習モデルを使用して、RGB から透明オブジェクトの完全な深度マップと損傷した深度マップ (深度センサーによって収集) を取得しようとしました。
ただし、既存の方法では元の深度マップを完全に活用できていないため、深い完成度の精度が制限されます。
この問題を解決するために、透明なオブジェクト深度補完のための新しいデュアルブランチ CNN-Transformer 並列ネットワークである TDCNet を提案します。
提案されたフレームワークは 2 つの異なるブランチで構成されています。1 つは部分的な深度マップから特徴を抽出し、もう 1 つは RGB-D 画像を処理します。
実験結果は、私たちのモデルが複数の公開データセットにわたって最先端のパフォーマンスを達成していることを示しています。
私たちのコードと事前トレーニングされたモデルは、https://github.com/XianghuiFan/TDCNet で公開されています。

要約(オリジナル)

The sensing and manipulation of transparent objects present a critical challenge in industrial and laboratory robotics. Conventional sensors face challenges in obtaining the full depth of transparent objects due to the refraction and reflection of light on their surfaces and their lack of visible texture. Previous research has attempted to obtain complete depth maps of transparent objects from RGB and damaged depth maps (collected by depth sensor) using deep learning models. However, existing methods fail to fully utilize the original depth map, resulting in limited accuracy for deep completion. To solve this problem, we propose TDCNet, a novel dual-branch CNN-Transformer parallel network for transparent object depth completion. The proposed framework consists of two different branches: one extracts features from partial depth maps, while the other processes RGB-D images. Experimental results demonstrate that our model achieves state-of-the-art performance across multiple public datasets. Our code and the pre-trained model are publicly available at https://github.com/XianghuiFan/TDCNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google