TACT: Humanoid Whole-body Contact Manipulation through Deep Imitation Learning with Tactile Modality

要約

ヒューマノイドロボットによる全身接触による操作は、安定性の強化や負荷の削減など、明確な利点を提供します。
一方、モーション生成の計算コストの増加や、広域接触の測定の難しさなどの課題に対処する必要があります。
したがって、上半身の触覚センサーを装備したヒューマノイドロボットが、人間の遠隔術データに基づいた模倣学習を通じて全身操作のポリシーを学ぶことができるヒューマノイド制御システムを開発しました。
触覚モダリティ拡張行為（TACT）という名前のこのポリシーには、関節の位置、視覚、触覚測定など、複数のセンサーモダリティを入力として使用する機能があります。
さらに、このポリシーを、二重型モデルに基づいてリターゲティングおよび移動制御と統合することにより、等身型のヒューマノイドロボットRHP7 Kaleidoがバランスとウォーキングを維持しながら全身接触操作を達成できることを実証します。
詳細な実験的検証を通じて、視力と触覚の両方のモダリティをポリシーに入力することが、広範で繊細な接触を含む操作の堅牢性の改善に貢献することを示します。

要約(オリジナル)

Manipulation with whole-body contact by humanoid robots offers distinct advantages, including enhanced stability and reduced load. On the other hand, we need to address challenges such as the increased computational cost of motion generation and the difficulty of measuring broad-area contact. We therefore have developed a humanoid control system that allows a humanoid robot equipped with tactile sensors on its upper body to learn a policy for whole-body manipulation through imitation learning based on human teleoperation data. This policy, named tactile-modality extended ACT (TACT), has a feature to take multiple sensor modalities as input, including joint position, vision, and tactile measurements. Furthermore, by integrating this policy with retargeting and locomotion control based on a biped model, we demonstrate that the life-size humanoid robot RHP7 Kaleido is capable of achieving whole-body contact manipulation while maintaining balance and walking. Through detailed experimental verification, we show that inputting both vision and tactile modalities into the policy contributes to improving the robustness of manipulation involving broad and delicate contact.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google