Neural Contact Fields: Tracking Extrinsic Contact with Tactile Sensing

要約

ニューラル コンタクト フィールドは、ニューラル フィールドと触覚センシングを組み合わせて、オブジェクトと環境の間の外因性接触を追跡する問題に対処する方法です。
外部接触が発生する場所を知ることは、下流の操作タスクを容易にするために積極的に制御できる方法への第一歩です。
環境接触をローカライズするための以前の作業は、通常、接触タイプ (点や線など) を想定しており、接触/非接触遷移をキャプチャせず、基本的な幾何学的形状のオブジェクトでのみ機能します。
ニューラル コンタクト フィールドは、コンタクト タイプについて何の仮定もせずに、任意のマルチモーダルな外部コンタクトを追跡できる最初の方法です。
私たちの重要な洞察は、外部接触に起因する局所的な動きを感知する視覚ベースの触覚入力が与えられた場合に、オブジェクト形状の潜在空間内の任意の 3D ポイントの接触確率を推定することです。
実験では、ニューラル コンタクト フィールドは、接触のジオメトリについて何の仮定もせずに複数の接触パッチをローカライズし、目に見えない環境構成で目に見えない形状を持つオブジェクトの既知のカテゴリの接触/非接触遷移をキャプチャできることがわかりました。
ニューラル コンタクト フィールドに加えて、この分野でのさらなる研究を可能にするために、シミュレートされた外部接触相互作用の YCB-Extrinsic-Contact データセットもリリースします。
プロジェクトリポジトリ: https://github.com/carolinahiguera/NCF

要約(オリジナル)

We present Neural Contact Fields, a method that brings together neural fields and tactile sensing to address the problem of tracking extrinsic contact between object and environment. Knowing where the external contact occurs is a first step towards methods that can actively control it in facilitating downstream manipulation tasks. Prior work for localizing environmental contacts typically assume a contact type (e.g. point or line), does not capture contact/no-contact transitions, and only works with basic geometric-shaped objects. Neural Contact Fields are the first method that can track arbitrary multi-modal extrinsic contacts without making any assumptions about the contact type. Our key insight is to estimate the probability of contact for any 3D point in the latent space of object shapes, given vision-based tactile inputs that sense the local motion resulting from the external contact. In experiments, we find that Neural Contact Fields are able to localize multiple contact patches without making any assumptions about the geometry of the contact, and capture contact/no-contact transitions for known categories of objects with unseen shapes in unseen environment configurations. In addition to Neural Contact Fields, we also release our YCB-Extrinsic-Contact dataset of simulated extrinsic contact interactions to enable further research in this area. Project repository: https://github.com/carolinahiguera/NCF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google