Learning Fine Pinch-Grasp Skills using Tactile Sensing from Real Demonstration Data

要約

この研究では、豊富な触覚センシングの使用を活用し、繊細で器用な両手操作を実現する、デモンストレーションからのデータ効率の高い学習フレームワークを開発します。
具体的には、高次元の触覚情報を効率的に抽出・符号化できる畳み込みオートエンコーダネットワークを構築しました。
さらに、固有受容フィードバックと触覚フィードバックの両方を融合することで、タスク空間のロボットハードウェア上で直接実証される人間のような感覚運動スキルを学習できる行動クローニングネットワークを開発しました。
ベースライン手法との比較研究により、接触情報の有効性が明らかになり、実証された運動スキルの抽出と再現が可能になった。
実際の双腕ロボットでの広範な実験により、ワンショットのデモンストレーションから直接学んだ細かいピンチ把握ポリシーの堅牢性と有効性が実証されました。これには、異なる初期ポーズで同じオブジェクトを把握すること、10 個の未確認の新しいオブジェクトに一般化すること、対物体に対する堅牢でしっかりとした把握が含まれます。
外部からの押し込みや、非常に大きな摂動下で物体を落とした場合の接触を意識した反応的な再掴みも可能です。
さらに、顕著性マップ法を使用して、ピンチ把握中のさまざまなモダリティにわたる重量分布を記述します。
このビデオは、\href{https://youtu.be/4Pg29bUBKqs}{https://youtu.be/4Pg29bUBKqs} からオンラインでご覧いただけます。

要約(オリジナル)

This work develops a data-efficient learning from demonstration framework which exploits the use of rich tactile sensing and achieves fine dexterous bimanual manipulation. Specifically, we formulated a convolutional autoencoder network that can effectively extract and encode high-dimensional tactile information. Further, we developed a behaviour cloning network that can learn human-like sensorimotor skills demonstrated directly on the robot hardware in the task space by fusing both proprioceptive and tactile feedback. Our comparison study with the baseline method revealed the effectiveness of the contact information, which enabled successful extraction and replication of the demonstrated motor skills. Extensive experiments on real dual-arm robots demonstrated the robustness and effectiveness of the fine pinch grasp policy directly learned from one-shot demonstration, including grasping of the same object with different initial poses, generalizing to ten unseen new objects, robust and firm grasping against external pushes, as well as contact-aware and reactive re-grasping in case of dropping objects under very large perturbations. Moreover, the saliency map method is employed to describe the weight distribution across various modalities during pinch grasping. The video is available online at: \href{https://youtu.be/4Pg29bUBKqs}{https://youtu.be/4Pg29bUBKqs}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google