On Noisy Evaluation in Federated Hyperparameter Tuning

要約

ハイパーパラメータの調整は、フェデレーテッド ラーニング アプリケーションの成功にとって重要です。
残念ながら、フェデレーション ネットワークではハイパーパラメーターを適切に選択するのが困難です。
スケール、プライバシー、異質性の問題により、調整プロセスにノイズが発生し、さまざまなハイパーパラメータのパフォーマンスを評価することが困難になります。
この研究では、フェデレーテッド ハイパーパラメータ調整におけるノイズ評価の影響に関する最初の系統的な研究を実行します。
私たちはまず、クライアントのサブサンプリング、データとシステムの異質性、データ プライバシーなどの主要なノイズ源を特定し、厳密に調査します。
驚くべきことに、我々の結果は、たとえ少量のノイズでも調整方法に大きな影響を与え、最先端のアプローチのパフォーマンスを単純なベースラインのパフォーマンスに低下させる可能性があることを示しています。
このようなシナリオでのノイズの多い評価に対処するために、パブリック プロキシ データを活用して評価信号を高めるシンプルで効果的なアプローチを提案します。
私たちの作業により、フェデレーテッド ハイパーパラメータ調整における将来の作業のための一般的な課題、ベースライン、ベスト プラクティスが確立されます。

要約(オリジナル)

Hyperparameter tuning is critical to the success of federated learning applications. Unfortunately, appropriately selecting hyperparameters is challenging in federated networks. Issues of scale, privacy, and heterogeneity introduce noise in the tuning process and make it difficult to evaluate the performance of various hyperparameters. In this work, we perform the first systematic study on the effect of noisy evaluation in federated hyperparameter tuning. We first identify and rigorously explore key sources of noise, including client subsampling, data and systems heterogeneity, and data privacy. Surprisingly, our results indicate that even small amounts of noise can significantly impact tuning methods-reducing the performance of state-of-the-art approaches to that of naive baselines. To address noisy evaluation in such scenarios, we propose a simple and effective approach that leverages public proxy data to boost the evaluation signal. Our work establishes general challenges, baselines, and best practices for future work in federated hyperparameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google