Dual-Criterion Model Aggregation in Federated Learning: Balancing Data Quantity and Quality

要約

フェデレーテッド ラーニング (FL) は、ローカル データ交換を必要とせずにモデルを転送できるため、プライバシーを保護した共同学習の重要な方法の 1 つとなっています。
FL フレームワーク内では、集約アルゴリズムは、システムの有効性とセキュリティを確保するための最も重要なコンポーネントの 1 つとして認識されています。
既存の平均集計アルゴリズムは通常、クライアントがトレーニングしたすべてのデータが等しい値を保持するか、重みが各クライアントによって提供されたデータの量のみに基づいていることを前提としています。
対照的に、代替アプローチでは、適応性を高めるために集約後にモデルをローカルでトレーニングすることが含まれます。
ただし、これらのアプローチは、異なるクライアントのデータ間の固有の異質性と、集計段階でのデータ変動の複雑さを基本的に無視しており、最適ではないグローバル モデルにつながる可能性があります。
これらの問題に対処するために、この研究では、クライアント ノードからのデータの量と質を含む新しい二重基準加重集計アルゴリズムを提案します。
具体的には、トレーニングに使用されるデータを定量化し、特殊なデータセットに対してローカル モデル推論の精度評価を複数回実行して、各クライアントのデータ品質を評価します。
これら 2 つの要素は、集約プロセス内の重みとして利用され、これら 2 つの要素の動的に重み付けされた合計を通じて適用されます。
このアプローチにより、アルゴリズムが重みを適応的に調整できるようになり、データのサイズや初期品質に関係なく、すべてのクライアントがグローバル モデルに貢献できるようになります。
私たちの実験では、提案されたアルゴリズムが、汎用のオープンソース データセットである CIFAR-10 と視覚的障害物回避に特化したデータセットの両方で、いくつかの既存の最先端の集計アプローチよりも優れていることが示されています。

要約(オリジナル)

Federated learning (FL) has become one of the key methods for privacy-preserving collaborative learning, as it enables the transfer of models without requiring local data exchange. Within the FL framework, an aggregation algorithm is recognized as one of the most crucial components for ensuring the efficacy and security of the system. Existing average aggregation algorithms typically assume that all client-trained data holds equal value or that weights are based solely on the quantity of data contributed by each client. In contrast, alternative approaches involve training the model locally after aggregation to enhance adaptability. However, these approaches fundamentally ignore the inherent heterogeneity between different clients’ data and the complexity of variations in data at the aggregation stage, which may lead to a suboptimal global model. To address these issues, this study proposes a novel dual-criterion weighted aggregation algorithm involving the quantity and quality of data from the client node. Specifically, we quantify the data used for training and perform multiple rounds of local model inference accuracy evaluation on a specialized dataset to assess the data quality of each client. These two factors are utilized as weights within the aggregation process, applied through a dynamically weighted summation of these two factors. This approach allows the algorithm to adaptively adjust the weights, ensuring that every client can contribute to the global model, regardless of their data’s size or initial quality. Our experiments show that the proposed algorithm outperforms several existing state-of-the-art aggregation approaches on both a general-purpose open-source dataset, CIFAR-10, and a dataset specific to visual obstacle avoidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google