FedDCT: Federated Learning of Large Convolutional Neural Networks on Resource Constrained Devices using Divide and Collaborative Training

要約

リソースが限られたエッジ デバイス上で大規模で高性能な CNN の使用を可能にする、新しい分散学習パラダイムである FedDCT を紹介します。
各トレーニング ラウンド中に各クライアントがフルサイズのニューラル ネットワークを個別にトレーニングする必要がある従来の FL アプローチとは対照的に、提案された FedDCT では、複数のクライアントのクラスターをいくつかのアンサンブルに分割することで、大規模な深層学習モデルを共同でトレーニングできます。
小さなサブモデルを作成し、プライバシーを維持しながら複数のデバイスで並行してトレーニングします。
この共同トレーニング プロセスでは、同じクラスターのクライアントも相互に学習し、アンサンブルのパフォーマンスをさらに向上させることができます。
集約段階では、サーバーはすべてのクラスターによってトレーニングされたすべてのアンサンブル モデルの加重平均を取得します。
FedDCT はメモリ要件を軽減し、ローエンド デバイスが FL に参加できるようにします。
私たちは、CIFAR-10、CIFAR-100、および 2 つの現実世界の医療データセット HAM10000 と VAIPE を含む標準化されたデータセットで広範な実験を経験的に実施しています。
実験結果は、FedDCT が現在の一連の SOTA FL メソッドよりも優れたパフォーマンスを示し、興味深い収束動作を示すことを示しています。
さらに、他の既存のアプローチと比較して、FedDCT はより高い精度を達成し、通信ラウンド数を大幅に削減します (メモリ要件が 4 ～ 8 ドルの 1 分の 1)。これにより、サーバー側で追加のトレーニング コストを発生させることなく、テスト データセットで望ましい精度を達成できます。
。

要約(オリジナル)

We introduce FedDCT, a novel distributed learning paradigm that enables the usage of large, high-performance CNNs on resource-limited edge devices. As opposed to traditional FL approaches, which require each client to train the full-size neural network independently during each training round, the proposed FedDCT allows a cluster of several clients to collaboratively train a large deep learning model by dividing it into an ensemble of several small sub-models and train them on multiple devices in parallel while maintaining privacy. In this collaborative training process, clients from the same cluster can also learn from each other, further improving their ensemble performance. In the aggregation stage, the server takes a weighted average of all the ensemble models trained by all the clusters. FedDCT reduces the memory requirements and allows low-end devices to participate in FL. We empirically conduct extensive experiments on standardized datasets, including CIFAR-10, CIFAR-100, and two real-world medical datasets HAM10000 and VAIPE. Experimental results show that FedDCT outperforms a set of current SOTA FL methods with interesting convergence behaviors. Furthermore, compared to other existing approaches, FedDCT achieves higher accuracy and substantially reduces the number of communication rounds (with $4-8$ times fewer memory requirements) to achieve the desired accuracy on the testing dataset without incurring any extra training cost on the server side.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google