Doubly Robust Interval Estimation for Optimal Policy Evaluation in Online Learning

要約

現在進行中の政策のパフォーマンスを評価することは、オンライン実験の早期停止や環境からのタイムリーなフィードバックに関する重要な指示を提供するために、医学や経済学など多くの分野で重要な役割を果たしている。このように、オンライン学習における政策評価は、最適な政策の平均結果（すなわち、値）をリアルタイムで推論することで注目を集めている。しかし、このような問題は、オンライン環境で生成される依存データ、未知の最適政策、適応的実験における複雑な探索と利用のトレードオフのために、特に困難である。本論文では、オンライン学習における政策評価におけるこれらの困難を克服することを目的とする。我々は、一般的に用いられているバンディットアルゴリズムの下で非最適行動を探索する確率を定量化する探索確率を明示的に導出する。この確率を用いて、各行動の下でのオンライン条件付き平均推定量について有効な推論を行い、オンライン学習において推定された最適政策の下での値を推論する二重ロバスト区間推定(DREAM)法を開発する。提案する値推定器は、一貫性の二重の保護を提供し、Wald型の信頼区間が提供される漸近的に正規である。提案するDREAM法の経験的妥当性を実証するために、広範なシミュレーション研究と実データへの応用が行われる。

要約(オリジナル)

Evaluating the performance of an ongoing policy plays a vital role in many areas such as medicine and economics, to provide crucial instructions on the early-stop of the online experiment and timely feedback from the environment. Policy evaluation in online learning thus attracts increasing attention by inferring the mean outcome of the optimal policy (i.e., the value) in real-time. Yet, such a problem is particularly challenging due to the dependent data generated in the online environment, the unknown optimal policy, and the complex exploration and exploitation trade-off in the adaptive experiment. In this paper, we aim to overcome these difficulties in policy evaluation for online learning. We explicitly derive the probability of exploration that quantifies the probability of exploring non-optimal actions under commonly used bandit algorithms. We use this probability to conduct valid inference on the online conditional mean estimator under each action and develop the doubly robust interval estimation (DREAM) method to infer the value under the estimated optimal policy in online learning. The proposed value estimator provides double protection for consistency and is asymptotically normal with a Wald-type confidence interval provided. Extensive simulation studies and real data applications are conducted to demonstrate the empirical validity of the proposed DREAM method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL