Enhancing Federated Learning with Kolmogorov-Arnold Networks: A Comparative Study Across Diverse Aggregation Strategies

要約

シンプルでありながら強力なモデルとして、多層パーセプトロン（MLP）は、分類および回帰タスクで広く使用され続けています。
ただし、従来のMLPは、複雑なデータセットを扱う際に、ロードデータの非線形関係を効率的にキャプチャするのに苦労しています。
Kolmogorov-Arnoldの表現定理に触発されたKolmogorov-Arnold Networks（Kan）は、複雑な非線形関係のモデル化に有望な能力を示しています。
この研究では、Federated Learning（FL）フレームワーク内のKansのパフォーマンスを調査し、従来の多層パーセプトロンと比較します。
4つの多様なデータセットで実施された実験は、KANが精度、安定性、収束効率の点で一貫してMLPを上回ることを示しています。
Kansは、さまざまなクライアント数と非IIDデータ分布の下で顕著な堅牢性を示し、クライアントの不均一性が増加しても優れたパフォーマンスを維持します。
特に、KansはMLPSと比較して収束するためのコミュニケーションラウンドが少なくなり、FLシナリオでの効率を強調する必要があります。
さらに、Trimmed MeanとFedProxがKANパフォーマンスを最適化するのに最も効果的な複数のパラメーター集約戦略を評価します。
これらの調査結果は、カンズが、連邦学習タスクのMLPの堅牢でスケーラブルな代替品として確立され、分散型およびプライバシーを提供する環境へのアプリケーションへの道を開いています。

要約(オリジナル)

Multilayer Perceptron (MLP), as a simple yet powerful model, continues to be widely used in classification and regression tasks. However, traditional MLPs often struggle to efficiently capture nonlinear relationships in load data when dealing with complex datasets. Kolmogorov-Arnold Networks (KAN), inspired by the Kolmogorov-Arnold representation theorem, have shown promising capabilities in modeling complex nonlinear relationships. In this study, we explore the performance of KANs within federated learning (FL) frameworks and compare them to traditional Multilayer Perceptrons. Our experiments, conducted across four diverse datasets demonstrate that KANs consistently outperform MLPs in terms of accuracy, stability, and convergence efficiency. KANs exhibit remarkable robustness under varying client numbers and non-IID data distributions, maintaining superior performance even as client heterogeneity increases. Notably, KANs require fewer communication rounds to converge compared to MLPs, highlighting their efficiency in FL scenarios. Additionally, we evaluate multiple parameter aggregation strategies, with trimmed mean and FedProx emerging as the most effective for optimizing KAN performance. These findings establish KANs as a robust and scalable alternative to MLPs for federated learning tasks, paving the way for their application in decentralized and privacy-preserving environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google