Push it to the Demonstrated Limit: Multimodal Visuotactile Imitation Learning with Force Matching

要約

光学式触覚センサーは、ロボット操作中に密な接触情報を取得する効果的な手段として登場しました。
最近導入されたこのタイプのセンサーの「シースルー・ユア・スキン」(STS) バリアントには、半透明の表面と制御可能な照明を活用することで視覚モードと触覚モードの両方が備わっています。
この研究では、接触の多い操作タスクにおいて、視覚触覚センシングと模倣学習を組み合わせる利点を調査します。
まず、運動感覚の指導中に触力測定と新しいアルゴリズムを使用して、人間のデモンストレーターのものによりよく一致する力プロファイルを生成します。
次に、制御ポリシー出力として視覚/触覚 STS モード切り替えを追加し、センサーのアプリケーションを簡素化します。
最後に、複数の観察構成を研究して、視覚/触覚データ (モード切り替えありとなしの両方) の値を、手首に装着したアイ・イン・ハンド・カメラからの視覚データと比較対照します。
私たちは、3,000 を超える実際のテスト エピソードを含む、ドアの開閉タスクを伴う実際のロボット マニピュレータで広範な一連の実験を実行します。
私たちの結果は、力の一致を可能にするデータ収集と、正確なタスクフィードバックを可能にするポリシー実行の両方において、模倣学習における触覚センシングの重要性を強調しています。

要約(オリジナル)

Optical tactile sensors have emerged as an effective means to acquire dense contact information during robotic manipulation. A recently-introduced `see-through-your-skin’ (STS) variant of this type of sensor has both visual and tactile modes, enabled by leveraging a semi-transparent surface and controllable lighting. In this work, we investigate the benefits of pairing visuotactile sensing with imitation learning for contact-rich manipulation tasks. First, we use tactile force measurements and a novel algorithm during kinesthetic teaching to yield a force profile that better matches that of the human demonstrator. Second, we add visual/tactile STS mode switching as a control policy output, simplifying the application of the sensor. Finally, we study multiple observation configurations to compare and contrast the value of visual/tactile data (both with and without mode switching) with visual data from a wrist-mounted eye-in-hand camera. We perform an extensive series of experiments on a real robotic manipulator with door-opening and closing tasks, including over 3,000 real test episodes. Our results highlight the importance of tactile sensing for imitation learning, both for data collection to allow force matching, and for policy execution to allow accurate task feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google