Denoised MDPs: Learning World Models Better Than the World Itself

要約

タイトル：ノイズ除去MDP：世界自体よりも優れた世界モデルの学習

要約：

– 人間は、ノイズから信号を分離し、クリーンな抽象概念で推論する能力を持つため、あらゆる余分な要素を考慮せずに実世界のタスクを効率的に実行できる。

– この能力を人工エージェントがどのように持つことができるか？エージェントはどのような情報をノイズとして安全に破棄できるか？

– この研究では、制御可能性と報酬との関係に基づいて野生の情報を4つのタイプに分類し、制御可能で報酬に関連する情報を有用な情報として明確化するフレームワークを提案する。

– これにより、強化学習における表現学習の先行研究で除去された情報の種類が明確になり、ノイズ除去MDPの学習につながる。

– DeepMind Control SuiteとRoboDeskのバリエーションに対する広範な実験により、元の観測値のみを使用するよりも優れた性能と、ポリシーオプティマイゼーション制御タスクとジョイントポジション回帰の制御タスクを超える先行研究の成果を示した。

要約(オリジナル)

The ability to separate signal from noise, and reason with clean abstractions, is critical to intelligence. With this ability, humans can efficiently perform real world tasks without considering all possible nuisance factors.How can artificial agents do the same? What kind of information can agents safely discard as noises? In this work, we categorize information out in the wild into four types based on controllability and relation with reward, and formulate useful information as that which is both controllable and reward-relevant. This framework clarifies the kinds information removed by various prior work on representation learning in reinforcement learning (RL), and leads to our proposed approach of learning a Denoised MDP that explicitly factors out certain noise distractors. Extensive experiments on variants of DeepMind Control Suite and RoboDesk demonstrate superior performance of our denoised world model over using raw observations alone, and over prior works, across policy optimization control tasks as well as the non-control task of joint position regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI