Online Distributed Learning over Random Networks

要約

近年、様々な場面でマルチエージェントシステムが導入されるようになり、学習問題を分散型で解決することが可能になった。この文脈では、エージェントはローカルデータを収集し、データを直接共有することなく、協調的にモデルを学習する。分散学習はエージェントのプライバシーを守るという利点がある一方で、適切なアルゴリズムの設計と解析という点でいくつかの課題ももたらす。(i)ローカルデータが時間とともに変化するオンライン学習、(ii)非同期なエージェント計算、(iii)信頼性の低い限られた通信、(iv)不正確なローカル計算。これらの課題に取り組むために、我々はADMM（Alternating Direction Method of Multipliers）のDOT（Distributed Operator Theoretical）版を導入し、DOT-ADMMアルゴリズムと呼ぶ。我々は、DOT-ADMMアルゴリズムが、凸型学習問題の大きなクラス（例えば、線形回帰問題やロジスティック回帰問題）に対して、最適時変解の有界近傍に線形速度で収束することを証明し、その近傍が〜$text{(i)–(iv)}$にどのように依存するかを特徴付ける。DOT-ADMMアルゴリズムと他の最新アルゴリズムを比較した数値シミュレーションにより理論的解析を裏付け、提案アルゴリズムのみが(i)–(iv)に対して頑健性を示すことを示す。

要約(オリジナル)

The recent deployment of multi-agent systems in a wide range of scenarios has enabled the solution of learning problems in a distributed fashion. In this context, agents are tasked with collecting local data and then cooperatively train a model, without directly sharing the data. While distributed learning offers the advantage of preserving agents’ privacy, it also poses several challenges in terms of designing and analyzing suitable algorithms. This work focuses specifically on the following challenges motivated by practical implementation: (i) online learning, where the local data change over time; (ii) asynchronous agent computations; (iii) unreliable and limited communications; and (iv) inexact local computations. To tackle these challenges, we introduce the Distributed Operator Theoretical (DOT) version of the Alternating Direction Method of Multipliers (ADMM), which we call the DOT-ADMM Algorithm. We prove that it converges with a linear rate for a large class of convex learning problems (e.g., linear and logistic regression problems) toward a bounded neighborhood of the optimal time-varying solution, and characterize how the neighborhood depends on~$\text{(i)–(iv)}$. We corroborate the theoretical analysis with numerical simulations comparing the DOT-ADMM Algorithm with other state-of-the-art algorithms, showing that only the proposed algorithm exhibits robustness to (i)–(iv).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL