Collaborative Pure Exploration in Kernel Bandit

要約

この論文では、カーネル バンディット問題における共同純粋探索 (CoPE-KB) を定式化します。この問題は、限られたコミュニケーションと一般的な報酬関数の下でのマルチエージェント マルチタスク意思決定のための新しいモデルを提供し、多くのオンライン学習タスクに適用できます。
、たとえば、推奨システムとネットワーク スケジューリング。
CoPE-KB の 2 つの設定、つまり Fixed-Confidence (FC) と Fixed-Budget (FB) を考慮し、2 つの最適なアルゴリズム CoopKernelFC (FC 用) と CoopKernelFB (FB 用) を設計します。
当社のアルゴリズムには革新的で効率的なカーネル化された推定器が装備されており、計算と通信の効率を同時に達成します。
アルゴリズムの最適性を実証するために、統計指標と通信指標の両方で上限と下限を一致させることが確立されています。
理論的な境界は、学習の加速に対するタスクの類似性の影響をうまく定量化し、カーネル化された特徴空間の有効な次元にのみ依存します。
データ次元分解、線形構造化インスタンス変換、(通信) ラウンド高速化誘導などの分析手法は斬新で、他のバンディット問題にも適用できます。
理論的結果を検証し、アルゴリズムのパフォーマンスの優位性を実証するために、経験的評価が提供されます。

要約(オリジナル)

In this paper, we formulate a Collaborative Pure Exploration in Kernel Bandit problem (CoPE-KB), which provides a novel model for multi-agent multi-task decision making under limited communication and general reward functions, and is applicable to many online learning tasks, e.g., recommendation systems and network scheduling. We consider two settings of CoPE-KB, i.e., Fixed-Confidence (FC) and Fixed-Budget (FB), and design two optimal algorithms CoopKernelFC (for FC) and CoopKernelFB (for FB). Our algorithms are equipped with innovative and efficient kernelized estimators to simultaneously achieve computation and communication efficiency. Matching upper and lower bounds under both the statistical and communication metrics are established to demonstrate the optimality of our algorithms. The theoretical bounds successfully quantify the influences of task similarities on learning acceleration and only depend on the effective dimension of the kernelized feature space. Our analytical techniques, including data dimension decomposition, linear structured instance transformation and (communication) round-speedup induction, are novel and applicable to other bandit problems. Empirical evaluations are provided to validate our theoretical results and demonstrate the performance superiority of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google