Optimal Methods for Convex Risk Averse Distributed Optimization

要約

この論文では、ネットワークを介した凸状リスク回避最適化の通信の複雑性を研究しています。
この問題は、よく研究されているリスク中立の有限和分散最適化問題を一般化し、その重要性は、不確実な環境でリスクを処理する必要性に由来します。
文献のアルゴリズムでは、リスク回避問題とリスク中立問題を解決するためのコミュニケーションの複雑さにギャップが存在します。
ギャップを埋めるために、分散リスク回避最適化（DRAO）法とスライディングによる分散リスク回避最適化（DRAO-S）法の2つの分散アルゴリズムを提案します。
具体的には、DRAO 法は、特定の鞍点部分問題がサーバー ノードで簡単に解決できると仮定することによって、最適な通信複雑度を実現します。
DRAO-S 法は、あいまい性セット $P$ に対する射影のみを必要とする新しい鞍点スライディング サブルーチンを導入することにより、強い仮定を取り除きます。
DRAO-S によって実行される $P$ 投影の数が最適であることがわかります。
さらに、DRAO と DRAO-S の両方の通信の複雑さが改善可能であることを示すために、一致する複雑性の下限を開発します。
DRAO-S 法の有望な経験的性能を実証するために、数値実験が行われます。

要約(オリジナル)

This paper studies the communication complexity of convex risk-averse optimization over a network. The problem generalizes the well-studied risk-neutral finite-sum distributed optimization problem and its importance stems from the need to handle risk in an uncertain environment. For algorithms in the literature, there exists a gap in communication complexities for solving risk-averse and risk-neutral problems. We propose two distributed algorithms, namely the distributed risk averse optimization (DRAO) method and the distributed risk averse optimization with sliding (DRAO-S) method, to close the gap. Specifically, the DRAO method achieves the optimal communication complexity by assuming a certain saddle point subproblem can be easily solved in the server node. The DRAO-S method removes the strong assumption by introducing a novel saddle point sliding subroutine which only requires the projection over the ambiguity set $P$. We observe that the number of $P$-projections performed by DRAO-S is optimal. Moreover, we develop matching lower complexity bounds to show the communication complexities of both DRAO and DRAO-S to be improvable. Numerical experiments are conducted to demonstrate the encouraging empirical performance of the DRAO-S method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google