Asynchronous Message-Passing and Zeroth-Order Optimization Based Distributed Learning with a Use-Case in Resource Allocation in Communication Networks

要約

分散学習と適応は大きな関心を集めており、機械学習と信号処理において幅広い用途が見出されています。
共有メモリの最適化、マルチタスク学習、コンセンサスベースの学習 (フェデレーテッド ラーニングやグラフによる学習など) などのさまざまなアプローチは、ローカル コストまたはグローバル コストの最適化に焦点を当てていますが、さらなる調査の必要性が依然として残っています。
それらの相互接続の。
このペーパーでは、エージェントが共通のタスク (つまり、集約されたローカル コストに等しいグローバル コストの最適化) に向けて協力しつつ、効果的に個別のタスク (つまり、ローカル コスト内の個々のローカル パラメータの最適化) を実行するシナリオに特に焦点を当てます。
各エージェントのアクションは、相互作用を通じて他のエージェントのパフォーマンスに影響を与える可能性があります。
特に、各エージェントはローカルの 0 次オラクル (コスト関数値) のみにアクセスでき、勾配ベクトルではなくスカラー値を他のエージェントと共有するため、通信帯域幅の効率とエージェントのプライバシーにつながります。
エージェントはゼロ次最適化を使用してパラメータを更新します。エージェント間の非同期メッセージ受け渡しでは、制限付きではあるがランダムな通信遅延が発生する可能性があります。
この論文では、理論的な収束解析を示し、非凸問題の収束率を確立します。
さらに、通信ネットワークにおける深層学習ベースのリソース割り当ての関連ユースケースに取り組み、送信機として機能するエージェントが個別のポリシーを共同でトレーニングして、全体的な報酬 (データ レートの合計など) を最大化する数値実験を実施します。

要約(オリジナル)

Distributed learning and adaptation have received significant interest and found wide-ranging applications in machine learning and signal processing. While various approaches, such as shared-memory optimization, multi-task learning, and consensus-based learning (e.g., federated learning and learning over graphs), focus on optimizing either local costs or a global cost, there remains a need for further exploration of their interconnections. This paper specifically focuses on a scenario where agents collaborate towards a common task (i.e., optimizing a global cost equal to aggregated local costs) while effectively having distinct individual tasks (i.e., optimizing individual local parameters in a local cost). Each agent’s actions can potentially impact other agents’ performance through interactions. Notably, each agent has access to only its local zeroth-order oracle (i.e., cost function value) and shares scalar values, rather than gradient vectors, with other agents, leading to communication bandwidth efficiency and agent privacy. Agents employ zeroth-order optimization to update their parameters, and the asynchronous message-passing between them is subject to bounded but possibly random communication delays. This paper presents theoretical convergence analyses and establishes a convergence rate for nonconvex problems. Furthermore, it addresses the relevant use-case of deep learning-based resource allocation in communication networks and conducts numerical experiments in which agents, acting as transmitters, collaboratively train their individual policies to maximize a global reward, e.g., a sum of data rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google