MRSD: Multi-Resolution Skill Discovery for HRL Agents

要約

階層補強学習（HRL）は、抽象的なスキルに依存して、長期タスクを効率的に解決します。
既存のスキルディスカバリーメソッドはこれらのスキルを自動的に学習しますが、タスクごとに単一のスキルに制限されています。
対照的に、人間はきめ細かい運動能力と粗い運動能力の両方を同時に学び、使用します。
人間のモーターコントロールに触発されて、さまざまな時間解像度で複数のスキルエンコーダーを並行して学習するHRLフレームワークであるマルチ解像度スキルディスカバリー（MRSD）を提案します。
高レベルのマネージャーがこれらのスキルの中で動的に選択し、時間の経過とともに適応制御戦略を可能にします。
DeepMind Control SuiteのタスクでMRSDを評価し、以前の最先端のスキル発見とHRLメソッドを上回り、収束と最終パフォーマンスの向上を達成することを示しています。
私たちの調査結果は、HRLにマルチ解像度スキルを統合することの利点を強調し、より多用途で効率的なエージェントへの道を開いています。

要約(オリジナル)

Hierarchical reinforcement learning (HRL) relies on abstract skills to solve long-horizon tasks efficiently. While existing skill discovery methods learns these skills automatically, they are limited to a single skill per task. In contrast, humans learn and use both fine-grained and coarse motor skills simultaneously. Inspired by human motor control, we propose Multi-Resolution Skill Discovery (MRSD), an HRL framework that learns multiple skill encoders at different temporal resolutions in parallel. A high-level manager dynamically selects among these skills, enabling adaptive control strategies over time. We evaluate MRSD on tasks from the DeepMind Control Suite and show that it outperforms prior state-of-the-art skill discovery and HRL methods, achieving faster convergence and higher final performance. Our findings highlight the benefits of integrating multi-resolution skills in HRL, paving the way for more versatile and efficient agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google