Optimal Cooperative Multiplayer Learning Bandits with Noisy Rewards and No Communication

要約

プレイヤーは事前に戦略についてのみ合意することができ、学習プロセス中にコミュニケーションをとることはできません。
この問題では、各プレイヤーが同時にアクションを選択します。
すべてのプレイヤーが選択したアクションに基づいて、プレイヤーのチームは報酬を受け取ります。
すべてのプレイヤーの行動が共通して観察されます。
ただし、各プレイヤーは他のプレイヤーと共有できないノイズの多いバージョンの報酬を受け取ります。
プレイヤーは異なる報酬を受け取る可能性があるため、アクションを選択するために使用される情報には非対称があります。
この論文では、報酬情報の非対称性にもかかわらず、プレイヤーが最適な行動を選択するために使用できる信頼限界の上限と下限に基づいたアルゴリズムを提供します。
このアルゴリズムは、対数 $O(\frac{\log T}{\Delta_{\bm{a}}})$ (ギャップ依存) リグアレスと $O(\sqrt{T\log T) を達成できることを示します。
})$ (ギャップに依存しない) 残念です。
これは $T$ で漸近的に最適になります。
また、この環境では、現在の最先端のアルゴリズムよりもパフォーマンスが優れていることも経験的に示しています。

要約(オリジナル)

We consider a cooperative multiplayer bandit learning problem where the players are only allowed to agree on a strategy beforehand, but cannot communicate during the learning process. In this problem, each player simultaneously selects an action. Based on the actions selected by all players, the team of players receives a reward. The actions of all the players are commonly observed. However, each player receives a noisy version of the reward which cannot be shared with other players. Since players receive potentially different rewards, there is an asymmetry in the information used to select their actions. In this paper, we provide an algorithm based on upper and lower confidence bounds that the players can use to select their optimal actions despite the asymmetry in the reward information. We show that this algorithm can achieve logarithmic $O(\frac{\log T}{\Delta_{\bm{a}}})$ (gap-dependent) regret as well as $O(\sqrt{T\log T})$ (gap-independent) regret. This is asymptotically optimal in $T$. We also show that it performs empirically better than the current state of the art algorithm for this environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google