NormalFlow: Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors

要約

触覚センシングは、人間レベルの器用さを達成することを目指しているロボットにとって重要です。
触覚依存のスキルの中で、触覚ベースのオブジェクト追跡は、操作、手の操作、3D再建など、多くのタスクの基礎として機能します。
この作業では、迅速で堅牢でリアルタイムの触覚ベースの6DOF追跡アルゴリズムであるNormalFlowを紹介します。
視力ベースの触覚センサーの正確な通常の推定を活用すると、触覚由来の表面正常間の矛盾を最小限に抑えることにより、通常の流れがオブジェクトの動きを決定します。
私たちの結果は、NormalFlowが一貫して競争力のあるベースラインを上回り、テーブルサーフェスのような低テクスチャオブジェクトを追跡できることを示しています。
長距離追跡のために、センサーをビーズの周りに360度回転させるときに、NormalFlowは2.5度の回転追跡誤差を維持します。
さらに、最先端の触覚ベースの3D再建結果を提示し、通常のフローの高精度を紹介します。
通常のフローは、手を使用してオブジェクトとの対話を伴う高精度の知覚と操作タスクの新しい可能性のロックを解除すると考えています。
ビデオデモ、コード、およびデータセットは、当社のWebサイトhttps：//joehjhuang.github.io/normalflowで入手できます。

要約(オリジナル)

Tactile sensing is crucial for robots aiming to achieve human-level dexterity. Among tactile-dependent skills, tactile-based object tracking serves as the cornerstone for many tasks, including manipulation, in-hand manipulation, and 3D reconstruction. In this work, we introduce NormalFlow, a fast, robust, and real-time tactile-based 6DoF tracking algorithm. Leveraging the precise surface normal estimation of vision-based tactile sensors, NormalFlow determines object movements by minimizing discrepancies between the tactile-derived surface normals. Our results show that NormalFlow consistently outperforms competitive baselines and can track low-texture objects like table surfaces. For long-horizon tracking, we demonstrate when rolling the sensor around a bead for 360 degrees, NormalFlow maintains a rotational tracking error of 2.5 degrees. Additionally, we present state-of-the-art tactile-based 3D reconstruction results, showcasing the high accuracy of NormalFlow. We believe NormalFlow unlocks new possibilities for high-precision perception and manipulation tasks that involve interacting with objects using hands. The video demo, code, and dataset are available on our website: https://joehjhuang.github.io/normalflow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google