Efficient Imitation Without Demonstrations via Value-Penalized Auxiliary Control from Examples

要約

強化学習におけるフィードバックの一般的なアプローチは、手作業による報酬や、完全な軌道の専門家によるデモンストレーションの使用である。あるいは、完了したタスクの例を用いることもできるが、このようなアプローチは極めてサンプル効率が悪い。我々は、単純な補助タスクの例と成功レベル以上の値ペナルティを追加することで、例に基づく制御の探索を大幅に改善するアルゴリズムである、例からの値ペナルティ付き補助制御（VPACE）を導入する。VPACEは、単純な補助タスクと成功レベル以上の値ペナルティを追加することで、例ベースの制御における探索を大幅に改善するアルゴリズムである。また、予備的な結果から、VPACEは、完全な軌跡や真の疎な報酬を使用する、より一般的なアプローチよりも効率的に学習できる可能性が示唆される。プロジェクトサイト: https://papers.starslab.ca/vpace/ .

要約(オリジナル)

Common approaches to providing feedback in reinforcement learning are the use of hand-crafted rewards or full-trajectory expert demonstrations. Alternatively, one can use examples of completed tasks, but such an approach can be extremely sample inefficient. We introduce value-penalized auxiliary control from examples (VPACE), an algorithm that significantly improves exploration in example-based control by adding examples of simple auxiliary tasks and an above-success-level value penalty. Across both simulated and real robotic environments, we show that our approach substantially improves learning efficiency for challenging tasks, while maintaining bounded value estimates. Preliminary results also suggest that VPACE may learn more efficiently than the more common approaches of using full trajectories or true sparse rewards. Project site: https://papers.starslab.ca/vpace/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL