Distributed Thompson sampling under constrained communication

要約

ベイジアン最適化では、サロゲート モデルを使用してブラック ボックス関数が最大化されます。
ガウス過程を代理モデルとして使用し、分散トンプソン サンプリングを適用して、マルチエージェント ベイジアン最適化問題にアプローチします。
分散トンプソン サンプリングの実装では、各エージェントは近隣エージェントからサンプリングされたポイントを受け取ります。通信ネットワークはグラフにエンコードされます。
各エージェントは独自のガウス プロセスを利用して目的関数をモデル化します。
ベイズ単純リグレスとベイズ平均リグレスの理論的限界を示します。限界は通信グラフの構造に依存します。
バッチ ベイジアン最適化とは異なり、この境界はエージェント間の通信グラフが制約されている場合に適用されます。
逐次シングルエージェント Thompson サンプリングと比較した場合、通信グラフが接続されている限り、この境界は時間に関してより高速な収束を保証します。
従来の最適化テスト関数の数値シミュレーションを使用してアルゴリズムの有効性を確認し、リグレス収束の向上におけるグラフの接続性の重要性を示します。

要約(オリジナル)

In Bayesian optimization, a black-box function is maximized via the use of a surrogate model. We apply distributed Thompson sampling, using a Gaussian process as a surrogate model, to approach the multi-agent Bayesian optimization problem. In our distributed Thompson sampling implementation, each agent receives sampled points from neighbors, where the communication network is encoded in a graph; each agent utilizes their own Gaussian process to model the objective function. We demonstrate theoretical bounds on Bayesian simple regret and Bayesian average regret, where the bound depends on the structure of the communication graph. Unlike in batch Bayesian optimization, this bound is applicable in cases where the communication graph amongst agents is constrained. When compared to sequential single-agent Thompson sampling, our bound guarantees faster convergence with respect to time as long as the communication graph is connected. We confirm the efficacy of our algorithm with numerical simulations on traditional optimization test functions, illustrating the significance of graph connectivity on improving regret convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google