Distributed Fractional Bayesian Learning for Adaptive Optimization

要約

このペーパーでは、すべてのエージェントが共通の未知のパラメーターを使用してローカルコスト関数のみにアクセスできる分散適応最適化問題を考慮しますが、真のパラメーターを共同で推定し、接続されたネットワーク上で最適なソリューションを見つけることを意味します。
このような問題の一般的な数学的枠組みはまだ研究されていません。
分散最適化問題のパラメーターの不確実性に対処するための貴重な洞察を提供し、同時に最適なソリューションを見つけることを目指しています。
したがって、ログ信念の加重平均化を通じて分散された画分ベイジアン学習を利用して、未知のパラメーターの信念を更新するために、分散した分別ベイジアン学習を利用し、最適な解の推定を更新するための分散勾配降下を使用している間、新しい予測を提案します。
次に、適切な仮定の下で、すべてのエージェントの信念と決定変数が、それぞれ真のパラメーターの下でそれぞれ真のパラメーターと最適なソリューションにほぼ確実に収束することを証明します。
さらに、信念シーケンスのサブリン収束率を確立します。
最後に、理論分析を裏付けるために数値実験が実装されます。

要約(オリジナル)

This paper considers a distributed adaptive optimization problem, where all agents only have access to their local cost functions with a common unknown parameter, whereas they mean to collaboratively estimate the true parameter and find the optimal solution over a connected network. A general mathematical framework for such a problem has not been studied yet. We aim to provide valuable insights for addressing parameter uncertainty in distributed optimization problems and simultaneously find the optimal solution. Thus, we propose a novel Prediction while Optimization scheme, which utilizes distributed fractional Bayesian learning through weighted averaging on the log-beliefs to update the beliefs of unknown parameters, and distributed gradient descent for renewing the estimation of the optimal solution. Then under suitable assumptions, we prove that all agents’ beliefs and decision variables converge almost surely to the true parameter and the optimal solution under the true parameter, respectively. We further establish a sublinear convergence rate for the belief sequence. Finally, numerical experiments are implemented to corroborate the theoretical analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google