Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models

要約

現実世界のシナリオで動作するロボット操作システムの長年の課題は、獲得した運動スキルを目に見えない環境に適応させ、一般化することです。
私たちは、模倣と強化のパラダイムを統合するハイブリッド スキル モデルを採用してこの課題に取り組み、スキルの学習と適応、および学習されたキーポイントを通じたシーンでのコアの基礎付けが、そのような一般化をどのように促進できるかを調査します。
そのために、スキル中のロボットの物理的相互作用によって得られる視覚的観察を活用して、シーン内の動的システムの参照を 3D キーポイントとして予測することを学習する、キーポイント統合ソフト アクター – クリティカル ガウス混合モデル (KIS-GMM) アプローチを開発します。
学ぶ。
シミュレーション環境と現実世界の両方で包括的な評価を実施することで、ロボットが新しい環境に対して大幅なゼロショット一般化を実現し、ゼロから学習するよりも速くターゲット環境でのスキルを向上させることができることを示します。
重要なのは、これは新しいグランドトゥルースデータを必要とせずに達成されることです。
さらに、私たちの方法はシーンの変位に効果的に対処します。

要約(オリジナル)

A long-standing challenge for a robotic manipulation system operating in real-world scenarios is adapting and generalizing its acquired motor skills to unseen environments. We tackle this challenge employing hybrid skill models that integrate imitation and reinforcement paradigms, to explore how the learning and adaptation of a skill, along with its core grounding in the scene through a learned keypoint, can facilitate such generalization. To that end, we develop Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models (KIS-GMM) approach that learns to predict the reference of a dynamical system within the scene as a 3D keypoint, leveraging visual observations obtained by the robot’s physical interactions during skill learning. Through conducting comprehensive evaluations in both simulated and real-world environments, we show that our method enables a robot to gain a significant zero-shot generalization to novel environments and to refine skills in the target environments faster than learning from scratch. Importantly, this is achieved without the need for new ground truth data. Moreover, our method effectively copes with scene displacements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google