Cross-Embodiment Robot Manipulation Skill Transfer using Latent Space Alignment

要約

この論文は、形態の異なるロボットマニピュレータ間で制御ポリシーを転送することに焦点を当てています。
強化学習 (RL) 手法はロボット操作タスクで成功した結果を示していますが、訓練されたポリシーをシミュレーションから実際のロボットに転送したり、異なる状態、アクション、または運動学を持つロボットに導入したりすることは困難です。
クロス実施形態のポリシー移転を達成するために、私たちの重要な洞察は、ソースロボットとターゲットロボットの状態および動作空間を共通の潜在空間表現に投影することです。
まず、ソース ロボットの状態と動作を潜在空間に関連付けるエンコーダーとデコーダーを導入します。
エンコーダ、デコーダ、および潜在空間制御ポリシーは、タスクのパフォーマンス、潜在ダイナミクスの一貫性、元の状態とアクションを再構築するエンコーダとデコーダの能力を測定する損失関数を使用して同時にトレーニングされます。
学習した制御ポリシーを転送するには、新しいターゲット ドメインを潜在空間に合わせるターゲット エンコーダとデコーダをトレーニングするだけで済みます。
ターゲットドメインでのタスク報酬や報酬調整にアクセスせずに、サイクルの一貫性と潜在的なダイナミクス損失を備えた敵対的生成トレーニングを使用します。
異なる状態、アクション、および実施形態のソースロボットとターゲットロボットを使用した、sim-to-simおよびsim-to-real操作ポリシーの転送を実証します。
ソース コードは \url{https://github.com/ExistentialRobotics/cross_embodiment_transfer} で入手できます。

要約(オリジナル)

This paper focuses on transferring control policies between robot manipulators with different morphology. While reinforcement learning (RL) methods have shown successful results in robot manipulation tasks, transferring a trained policy from simulation to a real robot or deploying it on a robot with different states, actions, or kinematics is challenging. To achieve cross-embodiment policy transfer, our key insight is to project the state and action spaces of the source and target robots to a common latent space representation. We first introduce encoders and decoders to associate the states and actions of the source robot with a latent space. The encoders, decoders, and a latent space control policy are trained simultaneously using loss functions measuring task performance, latent dynamics consistency, and encoder-decoder ability to reconstruct the original states and actions. To transfer the learned control policy, we only need to train target encoders and decoders that align a new target domain to the latent space. We use generative adversarial training with cycle consistency and latent dynamics losses without access to the task reward or reward tuning in the target domain. We demonstrate sim-to-sim and sim-to-real manipulation policy transfer with source and target robots of different states, actions, and embodiments. The source code is available at \url{https://github.com/ExistentialRobotics/cross_embodiment_transfer}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google