TransNet: Transparent Object Manipulation Through Category-Level Pose Estimation

要約

透明なオブジェクトは、視覚認識システムに複数の異なる課題をもたらします。
まず、明確な視覚的特徴がないため、透明なオブジェクトは不透明なオブジェクトよりも検出および位置特定が困難になります。
ガラスドアのような、鏡面反射や屈折がほとんどない特定の透明な表面は、人間でも認識するのが難しいと感じます。
2 番目の課題は、不透明な物体の認識に通常使用される深度センサーは、その独特の反射特性により、透明な表面上では正確な深度測定値を取得できないことです。
これらの課題から、カップなどの同じカテゴリ内の透明なオブジェクトのインスタンスは、同じカテゴリの通常の不透明なオブジェクトよりも互いに似ていることがわかります。
この観察を踏まえて、本論文では、インスタンス レベルの姿勢推定ではなく、カテゴリ レベルの透明オブジェクトの姿勢推定の可能性を検討します。
私たちは、局所的な深度補完と表面法線推定を使用してカテゴリレベルの透明オブジェクトの姿勢を推定する 2 段階のパイプラインである \textit{\textbf{TransNet}} を提案します。
TransNet は、大規模な透明オブジェクト データセットでの姿勢推定の精度の観点から評価され、最先端のカテゴリレベルの姿勢推定アプローチと比較されます。
この比較の結果は、TransNet が透明なオブジェクトに対する姿勢推定精度の向上を達成していることを示しています。
さらに、TransNet を使用して、ロボットによるピック アンド プレイスおよび注湯タスクのための自律的な透明オブジェクト操作システムを構築します。

要約(オリジナル)

Transparent objects present multiple distinct challenges to visual perception systems. First, their lack of distinguishing visual features makes transparent objects harder to detect and localize than opaque objects. Even humans find certain transparent surfaces with little specular reflection or refraction, like glass doors, difficult to perceive. A second challenge is that depth sensors typically used for opaque object perception cannot obtain accurate depth measurements on transparent surfaces due to their unique reflective properties. Stemming from these challenges, we observe that transparent object instances within the same category, such as cups, look more similar to each other than to ordinary opaque objects of that same category. Given this observation, the present paper explores the possibility of category-level transparent object pose estimation rather than instance-level pose estimation. We propose \textit{\textbf{TransNet}}, a two-stage pipeline that estimates category-level transparent object pose using localized depth completion and surface normal estimation. TransNet is evaluated in terms of pose estimation accuracy on a large-scale transparent object dataset and compared to a state-of-the-art category-level pose estimation approach. Results from this comparison demonstrate that TransNet achieves improved pose estimation accuracy on transparent objects. Moreover, we use TransNet to build an autonomous transparent object manipulation system for robotic pick-and-place and pouring tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google