SkiLD: Unsupervised Skill Discovery Guided by Factor Interactions

要約

教師なしスキル発見は、インテリジェント エージェントが自律的で報酬なしの環境インタラクションを通じて再利用可能なスキルを学習できることを約束します。
既存の教師なしスキル発見手法は、多様な状態をカバーする区別可能な行動を奨励することでスキルを学習します。
しかし、多くの状態要因を持つ複雑な環境 (たとえば、多くの物体がある家庭環境) では、考えられるすべての状態をカバーするスキルを学習することは不可能であり、単純に状態の多様性を奨励すると、下流のタスクを解決するのに理想的ではない単純なスキルにつながることがよくあります。
この研究では、ローカル依存関係からのスキル発見 (Skild) が導入されています。これは、スキル学習プロセスをガイドするための自然な帰納的バイアスとして状態因数分解を活用します。
Skild を導く重要な直感は、状態要因間の多様な相互作用を誘発するスキルは、下流のタスクを解決する上でより価値があることが多いということです。
この目的を達成するために、Skild は、環境内でさまざまな相互作用を効果的に引き起こすスキルの習得を明確に奨励する、新しいスキル学習目標を開発しました。
我々は、現実的にシミュレートされた家庭用ロボットドメインを含む、挑戦的で長期にわたるスパース報酬タスクを伴ういくつかのドメインでSkildを評価しました。Skildは、明確な意味論的意味を持つスキルを首尾よく学習し、状態カバレッジを最大化するだけの既存の教師なし強化学習手法と比較して優れたパフォーマンスを示します。

要約(オリジナル)

Unsupervised skill discovery carries the promise that an intelligent agent can learn reusable skills through autonomous, reward-free environment interaction. Existing unsupervised skill discovery methods learn skills by encouraging distinguishable behaviors that cover diverse states. However, in complex environments with many state factors (e.g., household environments with many objects), learning skills that cover all possible states is impossible, and naively encouraging state diversity often leads to simple skills that are not ideal for solving downstream tasks. This work introduces Skill Discovery from Local Dependencies (Skild), which leverages state factorization as a natural inductive bias to guide the skill learning process. The key intuition guiding Skild is that skills that induce diverse interactions between state factors are often more valuable for solving downstream tasks. To this end, Skild develops a novel skill learning objective that explicitly encourages the mastering of skills that effectively induce different interactions within an environment. We evaluate Skild in several domains with challenging, long-horizon sparse reward tasks including a realistic simulated household robot domain, where Skild successfully learns skills with clear semantic meaning and shows superior performance compared to existing unsupervised reinforcement learning methods that only maximize state coverage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google