Learning from Imperfect Demonstrations through Dynamics Evaluation

要約

標準的な模倣学習では、通常、デモンストレーションが最適なポリシー分布から得られることを前提としています。
ただし、現実世界のシナリオでは、あらゆる人間のデモンストレーションがほぼランダムな動作を示す可能性があり、高品質の人間データセットを収集するにはかなりのコストがかかる可能性があります。
そのためには、不完全なデモンストレーションから学習して、人間の意図に沿ったロボットの政策を獲得できる模倣学習が必要です。
これまでの研究では、信頼度スコアを使用して不完全なデモンストレーションから有用な情報を抽出していましたが、これは、グラウンド トゥルースの報酬や人間の積極的な監督へのアクセスに依存していました。
この論文では、上記の努力を必要とせずにデータ信頼性スコアを評価するためのダイナミクスベースの方法を提案します。
我々は、オブジェクト関数を変更するだけでさまざまな最適なポリシーマッチング手法を採用できる、信頼ベースの逆ソフトQ学習(CIQL)と呼ばれる一般化された信頼ベースの模倣学習フレームワークを開発します。
実験結果によると、私たちの信頼性評価方法は、元のアルゴリズムよりも成功率を $40.3\%$ 増加させ、単純なノイズ フィルタリングよりも $13.5\%$ 増加させることができます。

要約(オリジナル)

Standard imitation learning usually assumes that demonstrations are drawn from an optimal policy distribution. However, in real-world scenarios, every human demonstration may exhibit nearly random behavior and collecting high-quality human datasets can be quite costly. This requires imitation learning can learn from imperfect demonstrations to obtain robotic policies that align human intent. Prior work uses confidence scores to extract useful information from imperfect demonstrations, which relies on access to ground truth rewards or active human supervision. In this paper, we propose a dynamics-based method to evaluate the data confidence scores without above efforts. We develop a generalized confidence-based imitation learning framework called Confidence-based Inverse soft-Q Learning (CIQL), which can employ different optimal policy matching methods by simply changing object functions. Experimental results show that our confidence evaluation method can increase the success rate by $40.3\%$ over the original algorithm and $13.5\%$ over the simple noise filtering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google