Structured Cooperative Learning with Graphical Model Priors

要約

私たちは、限られたローカル データを使用して、分散型デバイス上でさまざまなタスクに合わせてパーソナライズされたモデルをトレーニングする方法を研究しています。
我々は、デバイス間の相互学習を自動的に調整する前に、グラフィカルモデルによってデバイス間の連携グラフを生成する「構造化協調学習（SCooL）」を提案します。
さまざまな構造を強制するグラフィカル モデルを選択することで、変分推論を通じて既存および新規の分散学習アルゴリズムの豊富なクラスを導き出すことができます。
特に、ディラック分布、確率的ブロック モデル (SBM)、および事前生成協力グラフとしての注意を採用する SCooL の 3 つのインスタンス化を示します。
これらの EM タイプのアルゴリズムは、協調グラフの更新とローカル モデルの協調学習を交互に行います。
モデルの更新を監視するだけで、デバイス間のタスク間の相関関係を自動的に把握し、連携グラフを最適化できます。
私たちは SCooL を評価し、広範なベンチマークで既存の分散学習手法と比較します。このベンチマークでは、SCooL は常にパーソナライズされたモデルの最高精度を達成し、通信効率において他のベースラインを大幅に上回ります。
私たちのコードは https://github.com/ShuangtongLi/SCooL で入手できます。

要約(オリジナル)

We study how to train personalized models for different tasks on decentralized devices with limited local data. We propose ‘Structured Cooperative Learning (SCooL)’, in which a cooperation graph across devices is generated by a graphical model prior to automatically coordinate mutual learning between devices. By choosing graphical models enforcing different structures, we can derive a rich class of existing and novel decentralized learning algorithms via variational inference. In particular, we show three instantiations of SCooL that adopt Dirac distribution, stochastic block model (SBM), and attention as the prior generating cooperation graphs. These EM-type algorithms alternate between updating the cooperation graph and cooperative learning of local models. They can automatically capture the cross-task correlations among devices by only monitoring their model updating in order to optimize the cooperation graph. We evaluate SCooL and compare it with existing decentralized learning methods on an extensive set of benchmarks, on which SCooL always achieves the highest accuracy of personalized models and significantly outperforms other baselines on communication efficiency. Our code is available at https://github.com/ShuangtongLi/SCooL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google