Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor

要約

連絡先のタスクは、ロボット操作のための多くの課題を提示し続けています。
この作業では、模倣学習のフレームワーク内のマルチモーダル視覚操作センサー（IL）を活用して、エンドエフェクターと操作されたオブジェクトの間で相対的な動き（たとえばスリッピングとスライド）を含む接触豊富なタスクを実行します。
ILを改善するための無料の方法として、2つのアルゴリズムの貢献、触覚力のマッチングと学習モードの切り替えを導入します。
触覚のマッチングは、デモ中に近似力を読み、記録された力を再現する適応ロボット軌道を生成することにより、運動感覚の指導を強化します。
学習モードスイッチングは、ILを使用して、視覚的および触覚センサーモードを学習したモーションポリシーと結合し、リーチから連絡先への移行を簡素化します。
さまざまな観察およびアルゴリズムの構成を備えた4つのドア開けたタスクでロボット操作実験を実行して、マルチモーダル視覚能力センシングの有用性と提案された改善を研究しています。
我々の結果は、力マッチングを含めることにより、平均ポリシーの成功率が62.5％、Visuotactileモードの切り替え、視覚軸データがポリシー入力として42.5％上昇し、ILのシースルー触覚センシングの価値を強調することを示しています。
強制マッチングを可能にするデータ収集、およびポリシーの実行が正確なタスクフィードバックを有効にするため。
プロジェクトサイト：https：//papers.starslab.ca/sts-il/

要約(オリジナル)

Contact-rich tasks continue to present many challenges for robotic manipulation. In this work, we leverage a multimodal visuotactile sensor within the framework of imitation learning (IL) to perform contact-rich tasks that involve relative motion (e.g., slipping and sliding) between the end-effector and the manipulated object. We introduce two algorithmic contributions, tactile force matching and learned mode switching, as complimentary methods for improving IL. Tactile force matching enhances kinesthetic teaching by reading approximate forces during the demonstration and generating an adapted robot trajectory that recreates the recorded forces. Learned mode switching uses IL to couple visual and tactile sensor modes with the learned motion policy, simplifying the transition from reaching to contacting. We perform robotic manipulation experiments on four door-opening tasks with a variety of observation and algorithm configurations to study the utility of multimodal visuotactile sensing and our proposed improvements. Our results show that the inclusion of force matching raises average policy success rates by 62.5%, visuotactile mode switching by 30.3%, and visuotactile data as a policy input by 42.5%, emphasizing the value of see-through tactile sensing for IL, both for data collection to allow force matching, and for policy execution to enable accurate task feedback. Project site: https://papers.starslab.ca/sts-il/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google