Unlocking the Potential of Model Calibration in Federated Learning

要約

過去数年間にわたり、機械学習の主要なパフォーマンス指標であるモデルの精度を向上させるために、さまざまなフェデレーテッド ラーニング (FL) 手法が開発されてきました。
ただし、実際の意思決定シナリオで FL を利用するには、精度を考慮するだけでなく、トレーニングされたモデルが各予測に信頼できる信頼性を持たなければなりません。これは、既存の FL 研究ではほとんど見落とされてきた側面です。
このギャップを動機として、私たちは FL とモデル キャリブレーションの概念を統合する汎用フレームワークである Non-Uniform Calibration for Federated Learning (NUCFL) を提案します。
フロリダ州環境では固有のデータ異質性により、モデルのキャリブレーションが特に困難になります。これは、多様なデータ分布やクライアントの条件にわたって信頼性を確保する必要があるためです。
当社の NUCFL は、各クライアントのローカル モデルとフロリダ州のグローバル モデルの間の統計的関係に基づいてモデル キャリブレーション目標を動的に調整することで、この課題に対処します。
特に、NUCFL は、ローカル モデルとグローバル モデルの関係間の類似性を評価し、クライアント側のローカル トレーニング中のキャリブレーション損失に対するペナルティ項を制御します。
そうすることで、NUCFL は、精度を犠牲にすることなく、異種 FL 設定におけるグローバル モデルのキャリブレーション ニーズを効果的に調整します。
広範な実験により、NUCFL がさまざまな FL アルゴリズムにわたって柔軟性と有効性を提供し、モデルのキャリブレーションだけでなく精度も向上することが示されています。

要約(オリジナル)

Over the past several years, various federated learning (FL) methodologies have been developed to improve model accuracy, a primary performance metric in machine learning. However, to utilize FL in practical decision-making scenarios, beyond considering accuracy, the trained model must also have a reliable confidence in each of its predictions, an aspect that has been largely overlooked in existing FL research. Motivated by this gap, we propose Non-Uniform Calibration for Federated Learning (NUCFL), a generic framework that integrates FL with the concept of model calibration. The inherent data heterogeneity in FL environments makes model calibration particularly difficult, as it must ensure reliability across diverse data distributions and client conditions. Our NUCFL addresses this challenge by dynamically adjusting the model calibration objectives based on statistical relationships between each client’s local model and the global model in FL. In particular, NUCFL assesses the similarity between local and global model relationships, and controls the penalty term for the calibration loss during client-side local training. By doing so, NUCFL effectively aligns calibration needs for the global model in heterogeneous FL settings while not sacrificing accuracy. Extensive experiments show that NUCFL offers flexibility and effectiveness across various FL algorithms, enhancing accuracy as well as model calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google