ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation

要約

透明なオブジェクトの深さの知覚は、主に標準的な3Dセンサーが透過性または反射面の深さを正確にキャプチャできないため、日常生活とロジスティクスに課題をもたらします。
この制限は、特にロボット操作において、深度マップとポイントクラウドに依存するアプリケーションに大きく影響します。
透明なオブジェクトのステレオ深度回復のためのビジョントランスベースのアルゴリズムを開発しました。
このアプローチは、画像の構造的特徴による深度回復の精度を高める革新的な機能ポストフュージョンモジュールによって補完されます。
透明なオブジェクトのステレオカメラベースの知覚のためのデータセットコレクションに関連する高コストに対処するために、この方法には、AIアルゴリズムによって加速される効率的なデータ生成のために、パラメーターに合わせた、ドメイン適応、および物理的に現実的なSIM2realシミュレーションを組み込みます。
私たちの実験結果は、現実世界のシナリオにおけるモデルの並外れたSIM2realの一般化可能性を示しており、透明なオブジェクトの正確な深さマッピングがロボット操作を支援できるようにします。
プロジェクトの詳細は、https：//sites.google.com/view/cleardepth/で入手できます。

要約(オリジナル)

Transparent object depth perception poses a challenge in everyday life and logistics, primarily due to the inability of standard 3D sensors to accurately capture depth on transparent or reflective surfaces. This limitation significantly affects depth map and point cloud-reliant applications, especially in robotic manipulation. We developed a vision transformer-based algorithm for stereo depth recovery of transparent objects. This approach is complemented by an innovative feature post-fusion module, which enhances the accuracy of depth recovery by structural features in images. To address the high costs associated with dataset collection for stereo camera-based perception of transparent objects, our method incorporates a parameter-aligned, domain-adaptive, and physically realistic Sim2Real simulation for efficient data generation, accelerated by AI algorithm. Our experimental results demonstrate the model’s exceptional Sim2Real generalizability in real-world scenarios, enabling precise depth mapping of transparent objects to assist in robotic manipulation. Project details are available at https://sites.google.com/view/cleardepth/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google