The Prospect of Enhancing Large-Scale Heterogeneous Federated Learning with Transformers

要約

フェデレーテッド ラーニング (FL) は、分散したデータ所有者全体で AI モデルの共同トレーニングを可能にすることで、データ プライバシーの懸念に対処します。
FL を広く採用すると、データの異質性と大規模なデータ所有者が関与するという根本的な課題に直面します。
この論文では、この設定で一般化と個別化を達成するための Transformer ベースの FL モデルの見通しを調査します。
私たちは、さまざまなシナリオの下で、Transformers、ResNet、およびパーソナライズされた ResNet ベースの FL アプローチを使用した FL を含む広範な比較実験を実施します。
これらの実験では、大規模な異種 FL タスクにおけるディープ ニューラル ネットワークに対する Transformers の利点を実証するために、さまざまな数のデータ所有者を考慮しています。
さらに、さまざまなレイヤーと FL モデルにわたる Centered Kernel Alignment (CKA) 表現の類似性を比較することで、Transformers の優れたパフォーマンスを分析し、その有望な機能の背後にある理由についての洞察を得ることができます。

要約(オリジナル)

Federated learning (FL) addresses data privacy concerns by enabling collaborative training of AI models across distributed data owners. Wide adoption of FL faces the fundamental challenges of data heterogeneity and the large scale of data owners involved. In this paper, we investigate the prospect of Transformer-based FL models for achieving generalization and personalization in this setting. We conduct extensive comparative experiments involving FL with Transformers, ResNet, and personalized ResNet-based FL approaches under various scenarios. These experiments consider varying numbers of data owners to demonstrate Transformers’ advantages over deep neural networks in large-scale heterogeneous FL tasks. In addition, we analyze the superior performance of Transformers by comparing the Centered Kernel Alignment (CKA) representation similarity across different layers and FL models to gain insight into the reasons behind their promising capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google