Canonical Representation and Force-Based Pretraining of 3D Tactile for Dexterous Visuo-Tactile Policy Learning

要約

触覚センシングは、ロボットがきめ細かい接触豊富なタスクを実行できるようにする上で重要な役割を果たします。
ただし、器用な手に大きなカバレッジがあるため、触覚データの高次元は、特に標準化されたデータセットが大きく、強力な前提型の骨格がないため、効果的な触覚機能学習に大きな課題をもたらします。
これらの課題に対処するために、3D触覚機能学習の難しさを軽減する新しい標準表現を提案し、局所的および正味の力の両方の特徴をキャプチャするための力に基づく自己監視前の事前削除タスクをさらに導入します。
私たちの方法は、実際の実験で4つのきめの細かい接触豊富な巧妙な操作タスクにわたって平均成功率を達成し、他の方法と比較して有効性と堅牢性を示しています。
さらなる分析により、この方法は、3D触覚データからの空間情報と力情報の両方を完全に利用して、タスクを達成することが示されています。
ビデオはhttps://3dtacdex.github.ioで見ることができます。

要約(オリジナル)

Tactile sensing plays a vital role in enabling robots to perform fine-grained, contact-rich tasks. However, the high dimensionality of tactile data, due to the large coverage on dexterous hands, poses significant challenges for effective tactile feature learning, especially for 3D tactile data, as there are no large standardized datasets and no strong pretrained backbones. To address these challenges, we propose a novel canonical representation that reduces the difficulty of 3D tactile feature learning and further introduces a force-based self-supervised pretraining task to capture both local and net force features, which are crucial for dexterous manipulation. Our method achieves an average success rate of 78% across four fine-grained, contact-rich dexterous manipulation tasks in real-world experiments, demonstrating effectiveness and robustness compared to other methods. Further analysis shows that our method fully utilizes both spatial and force information from 3D tactile data to accomplish the tasks. The videos can be viewed at https://3dtacdex.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google