Improving Behavioural Cloning with Positive Unlabeled Learning

要約

事前に記録されたデータセットから制御ポリシーをオフラインで学習することは、現実世界の困難な問題を解決するための有望な手段です。
ただし、利用可能なデータセットは通常、さまざまな品質であり、肯定的な例として考慮される軌道の数は限られています。
つまり、高品質のデモンストレーションです。
したがって、我々は、精度の点で既存のアルゴリズムを上回る、最小限のポジティブサンプルセットを与えられたラベルなしの混合品質ロボットデータセット内のエキスパートの軌跡を特定するための新しい反復学習アルゴリズムを提案します。
結果として得られるフィルタリングされたデータセットに行動クローンを適用すると、いくつかの競合するオフライン強化学習および模倣学習ベースラインを上回るパフォーマンスが得られることを示します。
私たちは、さまざまなシミュレートされた移動タスクと、実際のロボット システムでの 2 つの困難な操作タスクの実験を実行します。
これらの実験では、私たちの方法は最先端のパフォーマンスを示しています。
当社のウェブサイト: \url{https://sites.google.com/view/offline-policy-learning-pubc}。

要約(オリジナル)

Learning control policies offline from pre-recorded datasets is a promising avenue for solving challenging real-world problems. However, available datasets are typically of mixed quality, with a limited number of the trajectories that we would consider as positive examples; i.e., high-quality demonstrations. Therefore, we propose a novel iterative learning algorithm for identifying expert trajectories in unlabeled mixed-quality robotics datasets given a minimal set of positive examples, surpassing existing algorithms in terms of accuracy. We show that applying behavioral cloning to the resulting filtered dataset outperforms several competitive offline reinforcement learning and imitation learning baselines. We perform experiments on a range of simulated locomotion tasks and on two challenging manipulation tasks on a real robotic system; in these experiments, our method showcases state-of-the-art performance. Our website: \url{https://sites.google.com/view/offline-policy-learning-pubc}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google