Novelty Detection in Reinforcement Learning with World Models

要約

ワールド モデルを使用した強化学習 (RL) は、最近大きな成功を収めています。
ただし、世界の仕組みやプロパティに突然の変化が発生すると、エージェントのパフォーマンスと信頼性が劇的に低下する可能性があります。
視覚的な特性や状態遷移の突然の変化をノベルティと呼びます。
生成されたワールド モデル フレームワーク内で新規性検出を実装することは、展開時にエージェントを保護するために重要なタスクです。
この論文では、世界モデルの幻覚状態と実際に観察された状態の不整合を異常スコアとして利用することにより、新規性検出を世界モデル RL エージェントに組み込む直接的な境界アプローチを提案します。
私たちは、世界モデルでエージェントによって学習された遷移の分布における新規性を検出するための効果的なアプローチを提供します。
最後に、従来の機械学習の新規性検出方法や、現在受け入れられている RL に焦点を当てた新規性検出アルゴリズムと比較して、新しい環境での作業の利点を示します。

要約(オリジナル)

Reinforcement learning (RL) using world models has found significant recent successes. However, when a sudden change to world mechanics or properties occurs then agent performance and reliability can dramatically decline. We refer to the sudden change in visual properties or state transitions as novelties. Implementing novelty detection within generated world model frameworks is a crucial task for protecting the agent when deployed. In this paper, we propose straightforward bounding approaches to incorporate novelty detection into world model RL agents, by utilizing the misalignment of the world model’s hallucinated states and the true observed states as an anomaly score. We provide effective approaches to detecting novelties in a distribution of transitions learned by an agent in a world model. Finally, we show the advantage of our work in a novel environment compared to traditional machine learning novelty detection methods as well as currently accepted RL focused novelty detection algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google