Optimal Learning for Structured Bandits

要約

私たちは、構造化された多腕盗賊、つまり構造情報が存在する不確実性の下でのオンライン意思決定の問題を研究します。
この問題では、意思決定者は、時間の経過とともに不確実な報酬しか観察されないにもかかわらず、最善の行動方針を発見する必要があります。
意思決定者は、報酬の分配に関する特定の凸構造情報を認識しています。
つまり、意思決定者は、アームの報酬分布が凸型コンパクトセットに属していることを知っています。
このような構造情報が存在する場合、彼らはこの情報を利用することで後悔を最小限に抑えたいと考えます。ここでの後悔とは、事前に最適なアクションを知っているベンチマーク ポリシーに対するパフォーマンスの違いです。
構造情報が存在しない場合、古典的な信頼限界 (UCB) およびトムソン サンプリング アルゴリズムでは、最小限の後悔しか受けないことがよく知られています。
しかしながら、最近指摘されたように、どちらのアルゴリズムも、実際に一般的に利用可能な構造情報を利用することはできない。
我々は、「DUSA」と呼ぶ新しい学習アルゴリズムを提案します。そのアルゴリズムは、情報理論的な後悔の下限と一定の係数まで一致し、広範囲の構造情報を処理できます。
私たちのアルゴリズム DUSA は、経験的報酬分布における後悔の下限の二重対応物を解決し、その提案されたプレイに従います。
このアイデアが、線形バンディット、リプシッツバンディット、凸面バンディットなどのよく知られた構造バンディットや、文献で研究されていない新しい構造バンディットを含む、さまざまな構造情報に対して漸近的に最小限の後悔を伴う最初の計算実行可能な学習ポリシーにつながることを示します。
統一された柔軟なフレームワークが欠如しているためです。

要約(オリジナル)

We study structured multi-armed bandits, which is the problem of online decision-making under uncertainty in the presence of structural information. In this problem, the decision-maker needs to discover the best course of action despite observing only uncertain rewards over time. The decision-maker is aware of certain convex structural information regarding the reward distributions; that is, the decision-maker knows the reward distributions of the arms belong to a convex compact set. In the presence such structural information, they then would like to minimize their regret by exploiting this information, where the regret is its performance difference against a benchmark policy that knows the best action ahead of time. In the absence of structural information, the classical upper confidence bound (UCB) and Thomson sampling algorithms are well known to suffer minimal regret. As recently pointed out, neither algorithms are, however, capable of exploiting structural information that is commonly available in practice. We propose a novel learning algorithm that we call ‘DUSA’ whose regret matches the information-theoretic regret lower bound up to a constant factor and can handle a wide range of structural information. Our algorithm DUSA solves a dual counterpart of the regret lower bound at the empirical reward distribution and follows its suggested play. We show that this idea leads to the first computationally viable learning policy with asymptotic minimal regret for various structural information, including well-known structured bandits such as linear, Lipschitz, and convex bandits, and novel structured bandits that have not been studied in the literature due to the lack of a unified and flexible framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google