UniT: Unified Tactile Representation for Robot Learning

要約

UniT は、VQVAE を使用してコンパクトな潜在空間を学習し、触覚表現として機能させる、触覚表現学習への新しいアプローチです。
単一の単純なオブジェクトから得られた触覚画像を使用して、伝達可能性と一般化可能性を備えた表現をトレーニングします。
この触覚表現は、知覚タスクや操作ポリシー学習など、さまざまな下流タスクにゼロショットで転送できます。
手持ちの 3D 姿勢推定タスクのベンチマークでは、UniT が既存の視覚表現および触覚表現の学習方法よりも優れていることが示されています。
さらに、ポリシー学習における UniT の有効性は、多様な操作オブジェクトと複雑なロボット、オブジェクト、環境の相互作用を含む 3 つの現実世界のタスクにわたって実証されています。
広範な実験を通じて、UniT はトレーニングが簡単でプラグアンドプレイでありながら、触覚表現の学習に広く効果的な方法であることが示されています。
詳細については、オープンソース リポジトリ https://github.com/ZhengtongXu/UniT およびプロジェクト Web サイト https://zhengtongxu.github.io/unifiedtactile.github.io/ を参照してください。

要約(オリジナル)

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT’s effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google