NormalFlow: Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors

要約

人間レベルの器用さの実現を目指すロボットにとって、触覚センシングは極めて重要です。
触覚に依存するスキルの中でも、触覚に基づくオブジェクト追跡は、マニピュレーション、手の操作、3D 再構築などの多くのタスクの基礎として機能します。
この研究では、高速かつ堅牢でリアルタイムの触覚ベースの 6DoF 追跡アルゴリズムである NormalFlow を導入します。
NormalFlow は、視覚ベースの触覚センサーの正確な表面法線推定を利用して、触覚から導出される表面法線間の不一致を最小限に抑えてオブジェクトの動きを決定します。
私たちの結果は、NormalFlow が競合ベースラインを常に上回り、テーブル表面のような低テクスチャのオブジェクトを追跡できることを示しています。
長距離追跡の場合、センサーをビードの周りで 360 度回転させると、NormalFlow は 2.5 度の回転追跡誤差を維持することを実証します。
さらに、最先端の触覚ベースの 3D 再構成結果を提示し、NormalFlow の高精度を示します。
私たちは、NormalFlow が手を使って物体と対話する高精度の認識および操作タスクの新たな可能性を解き放つと信じています。
ビデオデモ、コード、データセットは、当社の Web サイト (https://joehjhuang.github.io/normalflow) で入手できます。

要約(オリジナル)

Tactile sensing is crucial for robots aiming to achieve human-level dexterity. Among tactile-dependent skills, tactile-based object tracking serves as the cornerstone for many tasks, including manipulation, in-hand manipulation, and 3D reconstruction. In this work, we introduce NormalFlow, a fast, robust, and real-time tactile-based 6DoF tracking algorithm. Leveraging the precise surface normal estimation of vision-based tactile sensors, NormalFlow determines object movements by minimizing discrepancies between the tactile-derived surface normals. Our results show that NormalFlow consistently outperforms competitive baselines and can track low-texture objects like table surfaces. For long-horizon tracking, we demonstrate when rolling the sensor around a bead for 360 degrees, NormalFlow maintains a rotational tracking error of 2.5 degrees. Additionally, we present state-of-the-art tactile-based 3D reconstruction results, showcasing the high accuracy of NormalFlow. We believe NormalFlow unlocks new possibilities for high-precision perception and manipulation tasks that involve interacting with objects using hands. The video demo, code, and dataset are available on our website: https://joehjhuang.github.io/normalflow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google