Risk-Aware Accelerated Wireless Federated Learning with Heterogeneous Clients

要約

ワイヤレス フェデレーテッド ラーニング (FL) は、新興の分散型機械学習パラダイムであり、特にモバイル クライアント上の機密データやプライベート データを扱う分野で勢いが増しています。
ただし、伝送速度と伝送エラーの影響を受けやすいという点で、場所に依存するパフォーマンスは、ワイヤレス FL のコンバージェンス速度と精度に大きな課題をもたらします。
クライアントのデータ品質とセキュリティ プロファイルを認証するメトリクスがない厳しい環境では、この課題はさらに深刻になります。
これに関連して、この論文は、所有するデータ量、伝送速度、伝送エラー、および信頼性におけるクライアントの異質性を考慮した、新しいリスクを意識した高速 FL フレームワークを提案します。
場所に依存するパフォーマンスと信頼性プロファイルに従ってクライアントを分類し、クライアントが伝送速度と信頼性制約の降順で参加できるようにする動的なリスクを意識したグローバル モデル集約スキームを提案します。
特に、転送速度は、収束速度を加速するための最初のラウンドの主要な参加基準です。
その後、私たちのモデルは、セルエッジ クライアントでより多くのトレーニング データを調査するために、送信速度制限を段階的に緩和します。
集約ラウンドには、送信エラーを考慮したバイアス除去係数が組み込まれています。
リスク認識は、ベースステーションが微調整段階で信頼できないクライアントを排除する検証セットによって有効になります。
提案されたスキームは、保守的なスキーム (つまり、信頼できるデバイスのみを許可する) と積極的なスキーム (つまり、信頼指標を無視する) に対してベンチマークされます。
数値結果は、両方のベンチマークと比較した場合、精度と収束速度の点で提案されたスキームの優位性を強調しています。

要約(オリジナル)

Wireless Federated Learning (FL) is an emerging distributed machine learning paradigm, particularly gaining momentum in domains with confidential and private data on mobile clients. However, the location-dependent performance, in terms of transmission rates and susceptibility to transmission errors, poses major challenges for wireless FL’s convergence speed and accuracy. The challenge is more acute for hostile environments without a metric that authenticates the data quality and security profile of the clients. In this context, this paper proposes a novel risk-aware accelerated FL framework that accounts for the clients heterogeneity in the amount of possessed data, transmission rates, transmission errors, and trustworthiness. Classifying clients according to their location-dependent performance and trustworthiness profiles, we propose a dynamic risk-aware global model aggregation scheme that allows clients to participate in descending order of their transmission rates and an ascending trustworthiness constraint. In particular, the transmission rate is the dominant participation criterion for initial rounds to accelerate the convergence speed. Our model then progressively relaxes the transmission rate restriction to explore more training data at cell-edge clients. The aggregation rounds incorporate a debiasing factor that accounts for transmission errors. Risk-awareness is enabled by a validation set, where the base station eliminates non-trustworthy clients at the fine-tuning stage. The proposed scheme is benchmarked against a conservative scheme (i.e., only allowing trustworthy devices) and an aggressive scheme (i.e., oblivious to the trust metric). The numerical results highlight the superiority of the proposed scheme in terms of accuracy and convergence speed when compared to both benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google