PA-CFL: Privacy-Adaptive Clustered Federated Learning for Transformer-Based Sales Forecasting on Heterogeneous Retail Data

要約

Federated Learning（FL）により、小売業者はプライバシーを維持しながら需要予測のモデルパラメーターを共有できます。
ただし、消費者の行動の変化などの要因によって駆動される多様な地域全体の不均一なデータは、連合学習の有効性に課題をもたらします。
この課題に取り組むために、私たちは、不均一な小売データの需要予測に合わせて調整されたプライバシーに適したクラスター化されたフェデレート学習（PA-CFL）を提案します。
PA-CFLグループは、プライバシーと機能の重要性を活用することにより、小売業者を明確な「バブル」にグループ化し、それぞれが独自のフェデレーション学習システムを形成して、データの不均一性を効果的に分離します。
各バブル内で、トランスモデルは、各クライアントのローカル販売を予測するように設計されています。
私たちの実験は、PA-CFLがFEDAVGを大幅に上回り、すべての参加クライアントの需要予測パフォーマンスにおけるローカル学習を上回ることを示しています。
ローカル学習と比較して、PA-CFLはR^2の5.4％の改善、RMSEの69％の減少、およびMAEの45％の減少を達成します。
当社のアプローチにより、多様なノイズレベルと各バブルに参加するクライアントの範囲への適応調整を通じて、効果的なFLが可能になります。
参加者をグループ化し、リスクの高いクライアントを積極的に除外することにより、PA-CFLはFLシステムに対する潜在的な脅威を軽減します。
調査結果は、不均一なデータを使用した時系列予測タスクでフェデレーション学習を強化するPA-CFLの能力を示しており、小売アプリケーションでの予測の精度とプライバシーの保存のバランスをとっています。
さらに、PA-CFLのクライアントからの毒データを検出および中和する能力は、システムの堅牢性と信頼性を高めます。

要約(オリジナル)

Federated learning (FL) enables retailers to share model parameters for demand forecasting while maintaining privacy. However, heterogeneous data across diverse regions, driven by factors such as varying consumer behavior, poses challenges to the effectiveness of federated learning. To tackle this challenge, we propose Privacy-Adaptive Clustered Federated Learning (PA-CFL) tailored for demand forecasting on heterogeneous retail data. By leveraging differential privacy and feature importance distribution, PA-CFL groups retailers into distinct “bubbles”, each forming its own federated learning system to effectively isolate data heterogeneity. Within each bubble, Transformer models are designed to predict local sales for each client. Our experiments demonstrate that PA-CFL significantly surpasses FedAvg and outperforms local learning in demand forecasting performance across all participating clients. Compared to local learning, PA-CFL achieves a 5.4% improvement in R^2, a 69% reduction in RMSE, and a 45% decrease in MAE. Our approach enables effective FL through adaptive adjustments to diverse noise levels and the range of clients participating in each bubble. By grouping participants and proactively filtering out high-risk clients, PA-CFL mitigates potential threats to the FL system. The findings demonstrate PA-CFL’s ability to enhance federated learning in time series prediction tasks with heterogeneous data, achieving a balance between forecasting accuracy and privacy preservation in retail applications. Additionally, PA-CFL’s capability to detect and neutralize poisoned data from clients enhances the system’s robustness and reliability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google