Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer

要約

複雑なタスクのための相互組み込みロボット操作統合は、ペアの交差体拡大データセットの希少性と複雑なコントローラーの設計の障害のために、挑戦的です。
ガイド付きの人間の専門家のデモを介したロボット学習に触発された私たちは、ここでは、Cyclevaeと人間の行動変圧器を介して、新しい交差存在ロボット操作アルゴリズムを提案します。
まず、監視されていないサイクルヴァーと双方向サブスペースアライメントアルゴリズムを使用して、交差体間の潜在的な動きシーケンスを整列させます。
第二に、人間の専門家デモの本質的な動きのダイナミクスを学ぶために、カジュアルな人間の行動変圧器の設計を提案します。
テストの場合、人間の専門家のデモンストレーション生成に提案された変圧器を活用します。これは、最終的なヒトロボット操作合成のためにCyclevaeを使用して整列します。
ロボットハンドを使用した器用なロボットマニピュレーターを使用して、広範な実験を通じて提案されたアルゴリズムを検証しました。
私たちの結果は、複雑なタスク全体でスムーズな軌跡を生成し、事前の学習ベースのロボットモーション計画アルゴリズムを上回ります。
これらの結果は、監視されていない相互拡大の整合性と将来の自律的ロボット工学設計を実行することに影響を及ぼします。
実験の完全なビデオデモンストレーションは、https：//sites.google.com/view/humanrobots/homeにあります。

要約(オリジナル)

Cross-embodiment robotic manipulation synthesis for complicated tasks is challenging, partially due to the scarcity of paired cross-embodiment datasets and the impediment of designing intricate controllers. Inspired by robotic learning via guided human expert demonstration, we here propose a novel cross-embodiment robotic manipulation algorithm via CycleVAE and human behavior transformer. First, we utilize unsupervised CycleVAE together with a bidirectional subspace alignment algorithm to align latent motion sequences between cross-embodiments. Second, we propose a casual human behavior transformer design to learn the intrinsic motion dynamics of human expert demonstrations. During the test case, we leverage the proposed transformer for the human expert demonstration generation, which will be aligned using CycleVAE for the final human-robotic manipulation synthesis. We validated our proposed algorithm through extensive experiments using a dexterous robotic manipulator with the robotic hand. Our results successfully generate smooth trajectories across intricate tasks, outperforming prior learning-based robotic motion planning algorithms. These results have implications for performing unsupervised cross-embodiment alignment and future autonomous robotics design. Complete video demonstrations of our experiments can be found in https://sites.google.com/view/humanrobots/home.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google