Realizing Text-Driven Motion Generation on NAO Robot: A Reinforcement Learning-Optimized Control Pipeline

要約

ヒューマノイドロボットの人間のモーションリターゲティングは、模倣のために人間のモーションデータをロボットに転送し、重要な課題を提示しますが、実際のアプリケーションにかなりの可能性を提供します。
従来、このプロセスは、ポーズ推定またはモーションキャプチャシステムを通じてキャプチャされた人間のデモに依存しています。
この論文では、ヒューマノイドへの人間の動きをマッピングするためのテキスト駆動型のアプローチを探ります。
生成された運動表現とヒューマノイドロボットの運動学的制約との間の固有の矛盾に対処するために、ノルムポジションと回転損失（NPR損失）に基づいて角度信号ネットワークを提案します。
ジョイントアングルを生成します。これは、強化学習ベースの全身関節モーションコントロールポリシーへの入力として機能します。
このポリシーにより、実行中のロボットの安定性を維持しながら、生成された動きの追跡が保証されます。
私たちの実験結果は、このアプローチの有効性を示しており、テキスト駆動型の人間の動きを実際のヒューマノイドロボットNAOに正常に転送します。

要約(オリジナル)

Human motion retargeting for humanoid robots, transferring human motion data to robots for imitation, presents significant challenges but offers considerable potential for real-world applications. Traditionally, this process relies on human demonstrations captured through pose estimation or motion capture systems. In this paper, we explore a text-driven approach to mapping human motion to humanoids. To address the inherent discrepancies between the generated motion representations and the kinematic constraints of humanoid robots, we propose an angle signal network based on norm-position and rotation loss (NPR Loss). It generates joint angles, which serve as inputs to a reinforcement learning-based whole-body joint motion control policy. The policy ensures tracking of the generated motions while maintaining the robot’s stability during execution. Our experimental results demonstrate the efficacy of this approach, successfully transferring text-driven human motion to a real humanoid robot NAO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google