Decentralized Personalized Online Federated Learning

要約

Vanilla フェデレーテッド ラーニングは、オンライン環境での学習、各クライアントでのパーソナライズされたモデルの学習、分散設定での学習をサポートしていません。
3 つの側面のそれぞれでフェデレーテッド ラーニングを拡張する既存の方法があります。
ただし、エンタープライズ エッジ サーバー上の一部の重要なアプリケーション (たとえば、世界規模でのオンライン アイテム レコメンデーション) には、3 つの側面が同時に含まれます。
したがって、私たちは、これら 3 つの側面をすべて同時に考慮した新しい学習設定 \textit{分散型パーソナライズド オンライン連合学習} を提案します。
この新しい学習環境における最初の技術的課題は、隣接するクライアントからの共有モデル パラメーターを集約して、各クライアントで優れたパフォーマンスを発揮するパーソナライズされたローカル モデルを取得する方法です。
集約の重みに関してローカル モデルのパフォーマンスを最適化することで、集約を直接学習することを提案します。
これにより、各ローカル モデルのパーソナライゼーションが向上するだけでなく、近隣モデルから適切な量の情報をインテリジェントに組み込むことで、ローカル モデルが潜在的なデータ シフトに適応するのにも役立ちます。
2 番目の課題は、各クライアントの近隣ノードを選択する方法です。
学習した集約重みに基づいて、各クライアントが最も有用な近隣ノードを選択し、同時に通信コストを削減できるようにするピア選択方法を提案します。
3 つの現実世界のアイテム推奨データセットと 1 つの大気質予測データセットに対して、提案した方法の有効性とロバスト性を検証します。

要約(オリジナル)

Vanilla federated learning does not support learning in an online environment, learning a personalized model on each client, and learning in a decentralized setting. There are existing methods extending federated learning in each of the three aspects. However, some important applications on enterprise edge servers (e.g. online item recommendation at global scale) involve the three aspects at the same time. Therefore, we propose a new learning setting \textit{Decentralized Personalized Online Federated Learning} that considers all the three aspects at the same time. In this new setting for learning, the first technical challenge is how to aggregate the shared model parameters from neighboring clients to obtain a personalized local model with good performance on each client. We propose to directly learn an aggregation by optimizing the performance of the local model with respect to the aggregation weights. This not only improves personalization of each local model but also helps the local model adapting to potential data shift by intelligently incorporating the right amount of information from its neighbors. The second challenge is how to select the neighbors for each client. We propose a peer selection method based on the learned aggregation weights enabling each client to select the most helpful neighbors and reduce communication cost at the same time. We verify the effectiveness and robustness of our proposed method on three real-world item recommendation datasets and one air quality prediction dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google