ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation

要約

透明な物体の奥行き認識は、主に標準的な 3D センサーが透明または反射面の奥行きを正確に捉えることができないため、日常生活や物流において課題を引き起こしています。
この制限は、特にロボット操作において、深度マップと点群に依存するアプリケーションに大きな影響を与えます。
私たちは、透明オブジェクトのステレオ深度を回復するためのビジョン トランスフォーマー ベースのアルゴリズムを開発しました。
このアプローチは、革新的な機能ポストフュージョン モジュールによって補完され、画像内の構造的特徴による深度回復の精度が向上します。
透明オブジェクトのステレオ カメラ ベースの認識のためのデータセット収集に関連する高コストに対処するために、私たちの手法には、AI アルゴリズムによって加速された効率的なデータ生成のためのパラメーター調整された、ドメイン適応型で物理的に現実的な Sim2Real シミュレーションが組み込まれています。
私たちの実験結果は、実世界のシナリオにおけるモデルの並外れた Sim2Real 汎用性を実証し、ロボット操作を支援する透明なオブジェクトの正確な深度マッピングを可能にします。
プロジェクトの詳細は、https://sites.google.com/view/clear Depth/ でご覧いただけます。

要約(オリジナル)

Transparent object depth perception poses a challenge in everyday life and logistics, primarily due to the inability of standard 3D sensors to accurately capture depth on transparent or reflective surfaces. This limitation significantly affects depth map and point cloud-reliant applications, especially in robotic manipulation. We developed a vision transformer-based algorithm for stereo depth recovery of transparent objects. This approach is complemented by an innovative feature post-fusion module, which enhances the accuracy of depth recovery by structural features in images. To address the high costs associated with dataset collection for stereo camera-based perception of transparent objects, our method incorporates a parameter-aligned, domain-adaptive, and physically realistic Sim2Real simulation for efficient data generation, accelerated by AI algorithm. Our experimental results demonstrate the model’s exceptional Sim2Real generalizability in real-world scenarios, enabling precise depth mapping of transparent objects to assist in robotic manipulation. Project details are available at https://sites.google.com/view/cleardepth/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google