Behavior Estimation from Multi-Source Data for Offline Reinforcement Learning

要約

オフライン強化学習 (RL) は、その魅力的なデータ効率により関心が高まっています。
本研究は、多くのオフライン RL アルゴリズムの基礎を築くタスクである行動推定に取り組んでいます。
行動推定は、トレーニング データが生成されるポリシーを推定することを目的としています。
特に、この作業では、データが複数のソースから収集されるシナリオを考慮しています。
この場合、データの異質性を無視すると、動作推定のための既存のアプローチは動作の仕様の誤りに悩まされます。
この欠点を克服するために、本研究では、データから一連のポリシーを推論する潜在変数モデルを提案します。これにより、エージェントは、特定の軌跡を最もよく表すポリシーを行動ポリシーとして使用できます。
このモデルは、エージェントにマルチソース データのきめ細かい特性評価を提供し、動作の誤った仕様を克服するのに役立ちます。
この研究では、このモデルの学習アルゴリズムも提案し、既存のオフライン RL アルゴリズムを拡張することによる実際の使用法を示します。
最後に、この研究では広範な評価を行って、動作の仕様の誤りの存在と、提案されたモデルの有効性を確認しました。

要約(オリジナル)

Offline reinforcement learning (RL) have received rising interest due to its appealing data efficiency. The present study addresses behavior estimation, a task that lays the foundation of many offline RL algorithms. Behavior estimation aims at estimating the policy with which training data are generated. In particular, this work considers a scenario where the data are collected from multiple sources. In this case, neglecting data heterogeneity, existing approaches for behavior estimation suffers from behavior misspecification. To overcome this drawback, the present study proposes a latent variable model to infer a set of policies from data, which allows an agent to use as behavior policy the policy that best describes a particular trajectory. This model provides with a agent fine-grained characterization for multi-source data and helps it overcome behavior misspecification. This work also proposes a learning algorithm for this model and illustrates its practical usage via extending an existing offline RL algorithm. Lastly, with extensive evaluation this work confirms the existence of behavior misspecification and the efficacy of the proposed model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google