FedPIDAvg: A PID controller inspired aggregation method for Federated Learning

要約

【タイトル】
FedPIDAvg：フェデレーテッドラーニングのためのPIDコントローラに着想を得た集約方法

【要約】
– 本研究は、フェデレーテッドチューモアセグメンテーションチャレンジ2022（FETS22）で優勝したFedPIDAvgの提案を行っている。
– FedCostWAvgに着想を得たFedPIDAvgは、集約の改良した戦略を提供している。
– FedCostWAvgは、重み付け平均法であり、各クラスターのトレーニングサンプルの数だけでなく、直前のフェデレーテッドラウンドのドロップの大きさも考慮している。これはPIDコントローラ（比例積分微分制御器）の微分部分と解釈できる。
– FedPIDAvgでは、欠落していた積分項をさらに追加している。
– 別の鍵となる課題は、データサンプルのサイズの大きなばらつきである。これは、ポアソン分布に従うデータセンターのサイズをモデル化し、適宜トレーニングイテレーションを選択することで対処している。
– このメソッドは、すべての他の提出物を上回った。

要約(オリジナル)

This paper presents FedPIDAvg, the winning submission to the Federated Tumor Segmentation Challenge 2022 (FETS22). Inspired by FedCostWAvg, our winning contribution to FETS21, we contribute an improved aggregation strategy for federated and collaborative learning. FedCostWAvg is a weighted averaging method that not only considers the number of training samples of each cluster but also the size of the drop of the respective cost function in the last federated round. This can be interpreted as the derivative part of a PID controller (proportional-integral-derivative controller). In FedPIDAvg, we further add the missing integral term. Another key challenge was the vastly varying size of data samples per center. We addressed this by modeling the data center sizes as following a Poisson distribution and choosing the training iterations per center accordingly. Our method outperformed all other submissions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI