Sample Efficient Robot Learning in Supervised Effect Prediction Tasks

要約

自己教師のロボット学習では、エージェントは環境との積極的な相互作用、エネルギー使用、人間の監視、実験時間などのコストの発生を通じてデータを取得します。
これらを緩和するには、サンプル効率の高い探索が不可欠です。
学習進行状況（LP）などの本質的な動機付け（IM）はロボット工学で広く使用されており、機械学習の分類のためにアクティブ学習（AL）は十分に確立されていますが、世界モデル学習に典型的な連続的で高次元回帰タスクに対処するフレームワークはほとんどありません。
Musel（サンプル効率の高い学習のモデルの不確実性）を提案します。これは、アクション効果予測など、ロボット工学の回帰タスクに合わせた新しいALフレームワークです。
Muselは、完全な予測不確実性、学習進捗、および入力の多様性を組み合わせてデータ収集を導くモデルの不確実性メトリックを導入します。
2つのロボット卓上タスクで確率的変異ディープカーネル学習（SVDKL）モデルを使用してアプローチを検証します。
実験結果は、Muselが学習精度とサンプル効率の両方を改善し、アクション効果の学習効果と有益なサンプルの選択におけるその有効性を検証することを示しています。

要約(オリジナル)

In self-supervised robotic learning, agents acquire data through active interaction with their environment, incurring costs such as energy use, human oversight, and experimental time. To mitigate these, sample-efficient exploration is essential. While intrinsic motivation (IM) methods like learning progress (LP) are widely used in robotics, and active learning (AL) is well established for classification in machine learning, few frameworks address continuous, high-dimensional regression tasks typical of world model learning. We propose MUSEL (Model Uncertainty for Sample-Efficient Learning), a novel AL framework tailored for regression tasks in robotics, such as action-effect prediction. MUSEL introduces a model uncertainty metric that combines total predictive uncertainty, learning progress, and input diversity to guide data acquisition. We validate our approach using a Stochastic Variational Deep Kernel Learning (SVDKL) model in two robotic tabletop tasks. Experimental results demonstrate that MUSEL improves both learning accuracy and sample efficiency, validating its effectiveness in learning action effects and selecting informative samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google