Tac2Pose: Tactile Object Pose Estimation from the First Touch

要約

この論文では、既知のオブジェクトの最初のタッチからの触覚ポーズ推定へのオブジェクト固有のアプローチである Tac2Pose を紹介します。
オブジェクトのジオメトリが与えられると、シミュレーションで調整された知覚モデルを学習します。このモデルは、触覚観察が与えられた場合の可能なオブジェクトのポーズの確率分布を推定します。
そのために、オブジェクトのポーズの密集したセットがセンサー上で生成する接触形状をシミュレートします。
次に、センサーから取得した新しい接触形状を指定して、対照学習を使用して学習したオブジェクト固有の埋め込みを使用して、事前に計算されたセットと照合します。
RGB触覚観察をバイナリ接触形状にマッピングするオブジェクトに依存しないキャリブレーションステップを使用して、センサーから接触形状を取得します。
オブジェクトとセンサー インスタンス間で再利用できるこのマッピングは、実際のセンサー データでトレーニングされる唯一のステップです。
これにより、最初の実際の触覚観察からオブジェクトをローカライズする知覚モデルが得られます。
重要なことは、ポーズ分布を生成し、他の知覚システム、接触、または前もっての追加のポーズ制約を組み込むことができることです。
20 のオブジェクトの定量的な結果を提供します。
Tac2Pose は、特徴的な触覚観察から高精度のポーズ推定を提供し、意味のあるポーズ分布を回帰して、さまざまなオブジェクトのポーズから生じる可能性のある接触形状を考慮します。
また、オブジェクト モデルの不確実性に対する堅牢性を評価するために、3D スキャナーから再構築されたオブジェクト モデルで Tac2Pose をテストします。
最後に、触覚ポーズ推定の 3 つのベースライン方法と比較した Tac2Pose の利点を示します。ニューラル ネットワークを使用したオブジェクト ポーズの直接回帰、標準分類ニューラル ネットワークを使用した観察された接触と可能な接触のセットとのマッチング、および
可能性のある接触のセットとの観察された接触。
ウェブサイト: http://mcube.mit.edu/research/tac2pose.html

要約(オリジナル)

In this paper, we present Tac2Pose, an object-specific approach to tactile pose estimation from the first touch for known objects. Given the object geometry, we learn a tailored perception model in simulation that estimates a probability distribution over possible object poses given a tactile observation. To do so, we simulate the contact shapes that a dense set of object poses would produce on the sensor. Then, given a new contact shape obtained from the sensor, we match it against the pre-computed set using an object-specific embedding learned using contrastive learning. We obtain contact shapes from the sensor with an object-agnostic calibration step that maps RGB tactile observations to binary contact shapes. This mapping, which can be reused across object and sensor instances, is the only step trained with real sensor data. This results in a perception model that localizes objects from the first real tactile observation. Importantly, it produces pose distributions and can incorporate additional pose constraints coming from other perception systems, contacts, or priors. We provide quantitative results for 20 objects. Tac2Pose provides high accuracy pose estimations from distinctive tactile observations while regressing meaningful pose distributions to account for those contact shapes that could result from different object poses. We also test Tac2Pose on object models reconstructed from a 3D scanner, to evaluate the robustness to uncertainty in the object model. Finally, we demonstrate the advantages of Tac2Pose compared with three baseline methods for tactile pose estimation: directly regressing the object pose with a neural network, matching an observed contact to a set of possible contacts using a standard classification neural network, and direct pixel comparison of an observed contact with a set of possible contacts. Website: http://mcube.mit.edu/research/tac2pose.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google