Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor

要約

接触の多いタスクは、ロボット操作にとって引き続き多くの課題をもたらします。
この研究では、模倣学習 (IL) のフレームワーク内でマルチモーダル視覚触覚センサーを活用し、エンドエフェクターと操作対象との間の相対運動 (滑りや滑りなど) を伴う接触の多いタスクを実行します。
IL を改善するための補完的な方法として、触力のマッチングと学習されたモード切り替えという 2 つのアルゴリズムの貢献を紹介します。
触力のマッチングは、デモンストレーション中におおよその力を読み取り、記録された力を再現する適応したロボットの軌道を生成することで、運動感覚の教育を強化します。
学習モード切り替えでは、IL を使用して視覚センサー モードと触覚センサー モードを学習モーション ポリシーと結合し、到達から接触への移行を簡素化します。
私たちは、マルチモーダル視覚触覚センシングの有用性と提案された改善を研究するために、さまざまな観察とアルゴリズム構成を使用して 4 つのドアを開けるタスクでロボット操作実験を実行します。
私たちの結果は、力の一致を含めることにより、平均政策成功率が 62.5%、視覚触覚モード切り替えが 30.3%、政策入力としての視覚触覚データが 42.5% 向上することを示しており、IL におけるシースルー触覚センシングの価値が強調されています。
データ収集により強制マッチングが可能になり、ポリシー実行により正確なタスクのフィードバックが可能になります。
プロジェクト サイト: https://papers.starslab.ca/sts-il 。

要約(オリジナル)

Contact-rich tasks continue to present many challenges for robotic manipulation. In this work, we leverage a multimodal visuotactile sensor within the framework of imitation learning (IL) to perform contact-rich tasks that involve relative motion (e.g., slipping and sliding) between the end-effector and the manipulated object. We introduce two algorithmic contributions, tactile force matching and learned mode switching, as complimentary methods for improving IL. Tactile force matching enhances kinesthetic teaching by reading approximate forces during the demonstration and generating an adapted robot trajectory that recreates the recorded forces. Learned mode switching uses IL to couple visual and tactile sensor modes with the learned motion policy, simplifying the transition from reaching to contacting. We perform robotic manipulation experiments on four door-opening tasks with a variety of observation and algorithm configurations to study the utility of multimodal visuotactile sensing and our proposed improvements. Our results show that the inclusion of force matching raises average policy success rates by 62.5%, visuotactile mode switching by 30.3%, and visuotactile data as a policy input by 42.5%, emphasizing the value of see-through tactile sensing for IL, both for data collection to allow force matching, and for policy execution to enable accurate task feedback. Project site: https://papers.starslab.ca/sts-il .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google