Active Reinforcement Learning Strategies for Offline Policy Improvement

要約

逐次的な意思決定タスクに優れた学習エージェントは、最適な学習のために探索と活用の問題を継続的に解決する必要があります。
ただし、このようなオンラインでの環境との対話は法外に高価であり、エージェントと環境の対話のための限られた予算や状態空間の特定の領域での探索の制限など、いくつかの制約が伴う場合があります。
例には、医療治験の候補者の選択や、複雑なナビゲーション環境でのエージェントのトレーニングなどが含まれます。
この問題には、未知の行動ポリシーによって以前に収集された既存のオフライン データを再利用することによって、最小限の追加の経験軌跡を収集する能動的な強化学習戦略の研究が必要です。
この研究では、既存のオフラインデータの分布を考慮したインタラクション戦略をインテリジェントに決定する、表現を意識した不確実性ベースのアクティブな軌道収集手法を提案します。
広範な実験により、私たちが提案する方法は、さまざまな継続的制御環境全体で競合ベースラインと比較して、環境との追加のオンラインインタラクションを最大 75% 削減することを実証します。

要約(オリジナル)

Learning agents that excel at sequential decision-making tasks must continuously resolve the problem of exploration and exploitation for optimal learning. However, such interactions with the environment online might be prohibitively expensive and may involve some constraints, such as a limited budget for agent-environment interactions and restricted exploration in certain regions of the state space. Examples include selecting candidates for medical trials and training agents in complex navigation environments. This problem necessitates the study of active reinforcement learning strategies that collect minimal additional experience trajectories by reusing existing offline data previously collected by some unknown behavior policy. In this work, we propose a representation-aware uncertainty-based active trajectory collection method that intelligently decides interaction strategies that consider the distribution of the existing offline data. With extensive experimentation, we demonstrate that our proposed method reduces additional online interaction with the environment by up to 75% over competitive baselines across various continuous control environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google