AnyRotate: Gravity-Invariant In-Hand Object Rotation with Sim-to-Real Touch

要約

手の操作は人間の器用さの不可欠な要素です。
私たちの手は、操作中に物体が意図せず滑り落ちないようにするため、安定した反応性の動きを得るために触覚フィードバックに依存しています。
ロボットハンドの場合、このレベルの器用さには、正確なモーター制御のために豊富な接触情報を抽出して利用する必要があります。
この論文では、高密度の機能を備えたシムトゥリアルタッチを使用して、重力不変の多軸手持ちオブジェクト回転システムである AnyRotate を紹介します。
シミュレーションでポリシーをトレーニングするための触覚フィードバックを提供する連続接触特徴表現を構築し、観察モデルをトレーニングしてシミュレーションと実際のギャップを埋めることでゼロショット ポリシー転送を実行するアプローチを導入します。
私たちの実験では、さまざまな特性を持つオブジェクトを扱う際に詳細な連絡先情報が得られる利点が強調されています。
現実世界では、高密度触覚ポリシーのシミュレーションからリアルへの変換に成功し、さまざまな回転軸や手の方向の多様な範囲のオブジェクトに一般化し、他の形式の低次元タッチよりも優れたパフォーマンスを発揮することを実証します。
興味深いことに、明示的な滑り検出がないにもかかわらず、豊富な多指触覚センシングは、把握内のオブジェクトの動きを暗黙的に検出し、ポリシーの堅牢性を向上させる反応的な動作を提供することができ、手の操作における情報豊富な触覚センシングの重要性を強調しています。

要約(オリジナル)

In-hand manipulation is an integral component of human dexterity. Our hands rely on tactile feedback for stable and reactive motions to ensure objects do not slip away unintentionally during manipulation. For a robot hand, this level of dexterity requires extracting and utilizing rich contact information for precise motor control. In this paper, we present AnyRotate, a system for gravity-invariant multi-axis in-hand object rotation using dense featured sim-to-real touch. We construct a continuous contact feature representation to provide tactile feedback for training a policy in simulation and introduce an approach to perform zero-shot policy transfer by training an observation model to bridge the sim-to-real gap. Our experiments highlight the benefit of detailed contact information when handling objects with varying properties. In the real world, we demonstrate successful sim-to-real transfer of the dense tactile policy, generalizing to a diverse range of objects for various rotation axes and hand directions and outperforming other forms of low-dimensional touch. Interestingly, despite not having explicit slip detection, rich multi-fingered tactile sensing can implicitly detect object movement within grasp and provide a reactive behavior that improves the robustness of the policy, highlighting the importance of information-rich tactile sensing for in-hand manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google