Estimation Network Design framework for efficient distributed optimization

要約

分散決定問題には、中央メモリを持たずにピアツーピア ネットワーク上でのみ通信できるエージェントのグループが含まれます。
ネットワーク制御やデータランキングなどのアプリケーションでは、各エージェントは決定ベクトルのごく一部の影響を受けるだけです。このスパース性は通常、分散アルゴリズムでは無視されますが、効率とスケーラビリティを向上させるために利用できる可能性があります。
この問題に対処するために、私たちの最近の論文では、分散反復の分析と設計のためのグラフ理論言語である推定ネットワーク設計 (END) を紹介しています。
END アルゴリズムは、特定の問題インスタンスの希薄性を利用するように調整でき、通信オーバーヘッドを削減し、冗長性を最小限に抑えながら、ケースバイケースの収束分析を必要としません。
このペーパーでは、分散最適化のコンテキストにおける END の柔軟性を紹介します。
特に、ADMM、AugDGM、プッシュサム DGD など、多くの確立された手法のスパース認識バージョンを研究します。
センサー ネットワークの推定問題に関するシミュレーションでは、END アルゴリズムが収束速度を向上させ、通信とメモリのコストを大幅に削減できることが実証されています。

要約(オリジナル)

Distributed decision problems features a group of agents that can only communicate over a peer-to-peer network, without a central memory. In applications such as network control and data ranking, each agent is only affected by a small portion of the decision vector: this sparsity is typically ignored in distributed algorithms, while it could be leveraged to improve efficiency and scalability. To address this issue, our recent paper introduces Estimation Network Design (END), a graph theoretical language for the analysis and design of distributed iterations. END algorithms can be tuned to exploit the sparsity of specific problem instances, reducing communication overhead and minimizing redundancy, yet without requiring case-by-case convergence analysis. In this paper, we showcase the flexility of END in the context of distributed optimization. In particular, we study the sparsity-aware version of many established methods, including ADMM, AugDGM and Push-Sum DGD. Simulations on an estimation problem in sensor networks demonstrate that END algorithms can boost convergence speed and greatly reduce the communication and memory cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google