Integrated Object Deformation and Contact Patch Estimation from Visuo-Tactile Feedback

要約

オブジェクトの変形と接触による力の伝達の間の相互作用についての推論は、準拠オブジェクトの操作の中心となります。
この論文では、暗黙的表現を使用した視覚触覚フィードバックからのオブジェクトの変形と接触パッチを共同でモデル化する表現である Neural Deforming Contact Field (NDCF) を提案します。
オブジェクトのジオメトリと環境との接触を表現すると、単一のモデルでさまざまな複雑さの接触パッチを暗黙的に予測できるようになります。
さらに、幾何学と接触を同時に学習することで、接触が物体の表面に確実に存在するようにするなど、物理的な事前条件を強制することができます。
NDCF を学習し、シミュレートされたデータを使用してトレーニングするためのニューラル ネットワーク アーキテクチャを提案します。
次に、学習した NDCF が微調整を必要とせずに現実世界に直接転送されることを示します。
点群を使用してジオメトリと接触パッチを表すベースラインに対して、提案されたアプローチのベンチマークを行います。
NDCF は、シミュレートされたデータと現実世界への転送においてより優れたパフォーマンスを発揮することがわかりました。

要約(オリジナル)

Reasoning over the interplay between object deformation and force transmission through contact is central to the manipulation of compliant objects. In this paper, we propose Neural Deforming Contact Field (NDCF), a representation that jointly models object deformations and contact patches from visuo-tactile feedback using implicit representations. Representing the object geometry and contact with the environment implicitly allows a single model to predict contact patches of varying complexity. Additionally, learning geometry and contact simultaneously allows us to enforce physical priors, such as ensuring contacts lie on the surface of the object. We propose a neural network architecture to learn a NDCF, and train it using simulated data. We then demonstrate that the learned NDCF transfers directly to the real-world without the need for fine-tuning. We benchmark our proposed approach against a baseline representing geometry and contact patches with point clouds. We find that NDCF performs better on simulated data and in transfer to the real-world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google