Flooding with Absorption: An Efficient Protocol for Heterogeneous Bandits over Complex Networks

要約

マルチアーム バンディットは、逐次的な意思決定をモデル化するために広く使用されており、オンライン レコメンダー システムやワイヤレス ネットワーキングなど、現実の多くのアプリケーションで遍在しています。
各エージェントが異なる武器セットを備えた独自のバンディット インスタンスを解決するマルチエージェント設定を検討します。
彼らの目標は、特定のネットワーク上で何らかの通信プロトコルを介してコラボレーションしながら、グループの後悔を最小限に抑えることです。
この問題に関する以前の文献では、アームの異質性とネットワーク化されたエージェントのみを個別に考慮していました。
本作では、両方の機能を網羅した設定を導入しています。
この新しい設定では、まず、標準的なフラッディング プロトコルと古典的な UCB ポリシーを組み合わせた場合の厳密なリグレス分析を提供します。
そこで、複雑なネットワークにおけるフラッディングによって発生する高額な通信コストの問題を軽減するために、Flooding with Absorption (FwA) と呼ばれる新しいプロトコルを提案します。
結果として生じるリグレスバウンドの理論的分析を提供し、フラッディングに対する FwA の使用の利点について説明します。
最後に、動的ネットワークを含むさまざまなシナリオで、FwA が他のネットワーク プロトコルと比較して最小限のパフォーマンス損失にもかかわらず、通信コストの大幅な削減につながることを実験的に検証します。

要約(オリジナル)

Multi-armed bandits are extensively used to model sequential decision-making, making them ubiquitous in many real-life applications such as online recommender systems and wireless networking. We consider a multi-agent setting where each agent solves their own bandit instance endowed with a different set of arms. Their goal is to minimize their group regret while collaborating via some communication protocol over a given network. Previous literature on this problem only considered arm heterogeneity and networked agents separately. In this work, we introduce a setting that encompasses both features. For this novel setting, we first provide a rigorous regret analysis for a standard flooding protocol combined with the classic UCB policy. Then, to mitigate the issue of high communication costs incurred by flooding in complex networks, we propose a new protocol called Flooding with Absorption (FwA). We provide a theoretical analysis of the resulting regret bound and discuss the advantages of using FwA over flooding. Lastly, we experimentally verify on various scenarios, including dynamic networks, that FwA leads to significantly lower communication costs despite minimal regret performance loss compared to other network protocols.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google