Sample Efficient Robot Learning in Supervised Effect Prediction Tasks

要約

ロボットの自己教師学習では、ロボットが能動的に環境を探索し、環境中の実体に作用してデータを生成する。そのため、ロボットの実行コストを最小化するサンプル効率を確保しつつ、正確な学習を実現する探索方針が望まれる。この目的のために、ロボットのコミュニティは、学習進歩（LP）のような本質的動機づけ（IM）に基づくアプローチを採用してきた。機械学習の面では、能動学習(Active Learning: AL)が、特に分類タスクにうまく利用されている。本研究では、行動効果予測のようなロボティクス回帰タスクや、より一般的な世界モデル学習のための新しいALフレームワークを開発する。MUSELは、学習の進捗と入力の多様性を利用することで、適切な学習エンジンが与える全不確実性推定値からモデルの不確実性を抽出し、それを用いて、最先端の作用効果予測手法よりもサンプル効率を向上させることを目的としている。我々は、学習エンジンとして確率的変分ガウス過程（SVGP）を用い、シミュレーションによる一連のロボット実験でシステムをテストすることで、我々のモデルの実現可能性を実証する。MUSELの有効性は、ロボットの動作効果学習で用いられる標準的な手法とその性能を比較することで実証される。ロボットマニピュレータがそのアクションの効果を学習することを課題とするロボット卓上環境において、MUSELはサンプルの効率性を確保しつつ、アクション効果の学習においてより高い精度を容易にすることが実験で示された。

要約(オリジナル)

In self-supervised robot learning, robots actively explore their environments and generate data by acting on entities in the environment. Therefore, an exploration policy is desired that ensures sample efficiency to minimize robot execution costs while still providing accurate learning. For this purpose, the robotic community has adopted Intrinsic Motivation (IM)-based approaches such as Learning Progress (LP). On the machine learning front, Active Learning (AL) has been used successfully, especially for classification tasks. In this work, we develop a novel AL framework geared towards robotics regression tasks, such as action-effect prediction and, more generally, for world model learning, which we call MUSEL – Model Uncertainty for Sample Efficient Learning. MUSEL aims to extract model uncertainty from the total uncertainty estimate given by a suitable learning engine by making use of earning progress and input diversity and use it to improve sample efficiency beyond the state-of-the-art action-effect prediction methods. We demonstrate the feasibility of our model by using a Stochastic Variational Gaussian Process (SVGP) as the learning engine and testing the system on a set of robotic experiments in simulation. The efficacy of MUSEL is demonstrated by comparing its performance to standard methods used in robot action-effect learning. In a robotic tabletop environment in which a robot manipulator is tasked with learning the effect of its actions, the experiments show that MUSEL facilitates higher accuracy in learning action effects while ensuring sample efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL