Communication Bounds for the Distributed Experts Problem

要約

この研究では、エキスパートのコストを複数のサーバーにわたって集約する必要がある分散設定におけるエキスパートの問題を研究します。
私たちの研究では、メッセージ パッシング モデルやブロードキャスト モデルなどのさまざまな通信モデルと、サーバー全体にわたる専門家のコストの $\ell_p$ ノルムの合計や取得などの複数の集計関数を考慮しています。
我々は、入力を適応的に選択できる強力な敵に対してさえ、これらの設定で最適に近いリファースを達成する、最初の通信効率の高いプロトコルを提案します。
さらに、プロトコルの通信がほぼ最適であることを示す条件付きの下限を示します。
最後に、プロトコルを実装し、HPO-B ベンチマークでの節約効果を実証します。

要約(オリジナル)

In this work, we study the experts problem in the distributed setting where an expert’s cost needs to be aggregated across multiple servers. Our study considers various communication models such as the message-passing model and the broadcast model, along with multiple aggregation functions, such as summing and taking the $\ell_p$ norm of an expert’s cost across servers. We propose the first communication-efficient protocols that achieve near-optimal regret in these settings, even against a strong adversary who can choose the inputs adaptively. Additionally, we give a conditional lower bound showing that the communication of our protocols is nearly optimal. Finally, we implement our protocols and demonstrate empirical savings on the HPO-B benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google