Robot Skill Adaptation via Soft Actor-Critic Gaussian Mixture Models

要約

現実世界で行動する自律型エージェントの主な課題は、スキルのレパートリーを適応させて、ノイズの多い知覚とダイナミクスに対処することです。
スキルの学習を長期的なタスクに拡大するために、ロボットは各時間ステップで個別に瞬間的な決定を下すのではなく、軌道を通じて構造化された方法でスキルを学習し、後で洗練できる必要があります。
この目的のために、Soft Actor-Critic Gaussian Mixture Model (SAC-GMM) を提案します。これは、動的システムを通じてロボットのスキルを学習し、学習したスキルを環境との相互作用を通じて独自の軌跡分布空間に適応させる新しいハイブリッド アプローチです。
私たちのアプローチは、デモンストレーションから学習する古典的なロボット技術と深層強化学習フレームワークを組み合わせ、それらの補完的な性質を活用します。
私たちの方法は、事前に学習したスキルの実行中にのみ利用可能なセンサーを利用して、より迅速なスキルの洗練につながる関連する機能を抽出することを示しています。
シミュレーション環境と実世界環境の両方での広範な評価により、物理的相互作用、高次元の感覚データ、およびまばらなタスク完了報酬を活用することにより、ロボットのスキルを洗練する上でのこの方法の有効性が実証されました。
ビデオ、コード、事前トレーニング済みのモデルは、http://sac-gmm.cs.uni-freiburg.de で入手できます。

要約(オリジナル)

A core challenge for an autonomous agent acting in the real world is to adapt its repertoire of skills to cope with its noisy perception and dynamics. To scale learning of skills to long-horizon tasks, robots should be able to learn and later refine their skills in a structured manner through trajectories rather than making instantaneous decisions individually at each time step. To this end, we propose the Soft Actor-Critic Gaussian Mixture Model (SAC-GMM), a novel hybrid approach that learns robot skills through a dynamical system and adapts the learned skills in their own trajectory distribution space through interactions with the environment. Our approach combines classical robotics techniques of learning from demonstration with the deep reinforcement learning framework and exploits their complementary nature. We show that our method utilizes sensors solely available during the execution of preliminarily learned skills to extract relevant features that lead to faster skill refinement. Extensive evaluations in both simulation and real-world environments demonstrate the effectiveness of our method in refining robot skills by leveraging physical interactions, high-dimensional sensory data, and sparse task completion rewards. Videos, code, and pre-trained models are available at http://sac-gmm.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google