TANDEM3D: Active Tactile Exploration for 3D Object Recognition

要約

3D オブジェクトの触覚認識は、依然として困難な課題です。
2D 形状と比較して、3D サーフェスの複雑なジオメトリには、より豊富な触覚シグナル、より器用なアクション、およびより高度なエンコード技術が必要です。
この作業では、TANDEM3D を提案します。これは、探索と意思決定のための共同トレーニング フレームワークを触覚信号による 3D オブジェクト認識に適用する方法です。
2D 認識問題の共同トレーニング パラダイムを導入した以前の作業から始めて、3D へのスケールアップを可能にする多くの進歩を紹介します。
TANDEM3D は、PointNet++ を使用して接触位置と法線から 3D オブジェクト表現を構築する新しいエンコーダーに基づいています。
さらに、6DOF の動きを可能にすることで、TANDEM3D は識別可能なタッチ情報を高効率で探索および収集します。
私たちの方法は完全にシミュレーションでトレーニングされ、実際の実験で検証されています。
最先端のベースラインと比較して、TANDEM3D は 3D オブジェクトの認識においてより高い精度とより少ないアクション数を実現し、さまざまな種類と量のセンサー ノイズに対してより堅牢であることも示されています。
動画は https://jxu.ai/tandem3d でご覧いただけます。

要約(オリジナル)

Tactile recognition of 3D objects remains a challenging task. Compared to 2D shapes, the complex geometry of 3D surfaces requires richer tactile signals, more dexterous actions, and more advanced encoding techniques. In this work, we propose TANDEM3D, a method that applies a co-training framework for exploration and decision making to 3D object recognition with tactile signals. Starting with our previous work, which introduced a co-training paradigm for 2D recognition problems, we introduce a number of advances that enable us to scale up to 3D. TANDEM3D is based on a novel encoder that builds 3D object representation from contact positions and normals using PointNet++. Furthermore, by enabling 6DOF movement, TANDEM3D explores and collects discriminative touch information with high efficiency. Our method is trained entirely in simulation and validated with real-world experiments. Compared to state-of-the-art baselines, TANDEM3D achieves higher accuracy and a lower number of actions in recognizing 3D objects and is also shown to be more robust to different types and amounts of sensor noise. Video is available at https://jxu.ai/tandem3d.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google