Clustered KL-barycenter design for policy evaluation

要約

確率論的盗賊モデルのコンテキストでは、この記事では、複数のターゲットポリシーの重要性サンプリング評価のためにサンプル効率の高い行動ポリシーを設計する方法を検討します。
重要性サンプリング理論から、サンプル効率は、ターゲットと重要性サンプリング分布の間のKLの発散に非常に敏感であることが十分に確立されています。
最初に、ターゲットポリシーのKL溶解ターとして定義された単一の動作ポリシーを分析します。
次に、ターゲットポリシーを小さなKL発散のあるグループにクラスタリングし、各クラスターを行動ポリシーとして独自のKL溶解ターを割り当てることにより、このアプローチを改善します。
このクラスター化されたKLベースのポリシー評価（CKL-PE）アルゴリズムは、最適なポリシー選択に関する新しい視点を提供します。
方法のサンプルの複雑さの上限を証明し、数値検証でその有効性を示します。

要約(オリジナル)

In the context of stochastic bandit models, this article examines how to design sample-efficient behavior policies for the importance sampling evaluation of multiple target policies. From importance sampling theory, it is well established that sample efficiency is highly sensitive to the KL divergence between the target and importance sampling distributions. We first analyze a single behavior policy defined as the KL-barycenter of the target policies. Then, we refine this approach by clustering the target policies into groups with small KL divergences and assigning each cluster its own KL-barycenter as a behavior policy. This clustered KL-based policy evaluation (CKL-PE) algorithm provides a novel perspective on optimal policy selection. We prove upper bounds on the sample complexity of our method and demonstrate its effectiveness with numerical validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google