ReFlow6D: Refraction-Guided Transparent Object 6D Pose Estimation via Intermediate Representation Learning

要約

透明な物体は日常生活のいたるところに存在しており、その認識とロボットによる操作が重要になっています。
ただし、6D 姿勢を正確に推定する場合、その独特の屈折特性と反射特性により大きな課題が生じます。
これを解決するために、屈折中間表現を利用した透明物体の 6D 姿勢推定の新しい方法である ReFlow6D を紹介します。
従来のアプローチとは異なり、私たちの方法は、RGB画像空間の変化の影響を受けず、深度情報に依存しない特徴空間を利用します。
画像マットからインスピレーションを得て、透明な物体を通る光路の変形をモデル化し、物体が観察される環境に依存しない、光の屈折によって導かれる独特の物体固有の中間表現を生み出します。
これらの中間特徴を姿勢推定ネットワークに統合することにより、ReFlow6D が入力として RGB 画像のみを使用して透明オブジェクトの正確な 6D 姿勢推定を達成することを示します。
私たちの方法はさらに、新しい透明オブジェクト合成損失を導入し、優れた屈折中間特徴の生成を促進します。
経験的評価により、私たちのアプローチは TOD および Trans32K-6D データセットに対する最先端の方法よりも大幅に優れていることが示されています。
ロボットの掴み実験では、ReFlow6D の姿勢推定精度が現実世界のロボット タスクに効果的に変換されることがさらに実証されています。
ソース コードは https://github.com/StoicGilgamesh/ReFlow6D および https://github.com/StoicGilgamesh/matting_rendering で入手できます。

要約(オリジナル)

Transparent objects are ubiquitous in daily life, making their perception and robotics manipulation important. However, they present a major challenge due to their distinct refractive and reflective properties when it comes to accurately estimating the 6D pose. To solve this, we present ReFlow6D, a novel method for transparent object 6D pose estimation that harnesses the refractive-intermediate representation. Unlike conventional approaches, our method leverages a feature space impervious to changes in RGB image space and independent of depth information. Drawing inspiration from image matting, we model the deformation of the light path through transparent objects, yielding a unique object-specific intermediate representation guided by light refraction that is independent of the environment in which objects are observed. By integrating these intermediate features into the pose estimation network, we show that ReFlow6D achieves precise 6D pose estimation of transparent objects, using only RGB images as input. Our method further introduces a novel transparent object compositing loss, fostering the generation of superior refractive-intermediate features. Empirical evaluations show that our approach significantly outperforms state-of-the-art methods on TOD and Trans32K-6D datasets. Robot grasping experiments further demonstrate that ReFlow6D’s pose estimation accuracy effectively translates to real-world robotics task. The source code is available at: https://github.com/StoicGilgamesh/ReFlow6D and https://github.com/StoicGilgamesh/matting_rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google