FedDebug: Systematic Debugging for Federated Learning Applications

要約

Federated Learning (FL) では、クライアントがローカルにモデルを学習し、それを中央のアグリゲータと共有することでグローバルなモデルを構築する。クライアントのデータへのアクセスは不可能であり、協調学習が可能なため、FLは医療画像のようなデータプライバシーが懸念されるアプリケーションに適しています。しかし、このようなFLの特性は、デバッグの際に前例のない困難をもたらす。グローバルモデルの性能が低下した場合、その原因となるラウンドとクライアントを見つけることは、大きな痛手となる。開発者は、クライアントのサブセットを使って試行錯誤的にデバッグを行い、精度を上げるか、将来のFLラウンドでモデルを再調整することを望みますが、これには時間とコストが掛かります。 私たちは、FLデバッグを2つの新しい側面から進歩させる、系統的な故障箇所特定フレームワーク、FedDebugを設計しました。まず、FedDebugは記録と再生の技術を利用して、ライブのFLを反映したシミュレーションを構築することにより、FLにおけるリアルタイム協調学習の対話的なデバッグを可能にします。FedDebugの{em breakpoint}はFLの状態（ラウンド、クライアント、グローバルモデル）を検査するのに役立ち、ラウンドとクライアントのモデル間をシームレスに移動し、細かいステップバイステップの検査が可能です。第二に、FedDebug はグローバルモデルの性能を下げる原因となっているクライアントを、テストデータとラベルなしで自動的に特定します–どちらも既存のデバッグ技術には不可欠なものです。FedDebug の強みは、正常な動作から逸脱しているクライアントを正確に特定するために、ニューロンの活性化と連携して差分テストを適応させることにあります。FedDebug は単一のクライアントを見つけるのに 100%、複数の欠陥のあるクライアントを見つけるのに 90.3% の精度を達成しました。FedDebugの対話的デバッグは、トレーニング中に1.2%のオーバーヘッドを発生し、ラウンドのトレーニング時間の2.1%で欠陥のあるクライアントを特定することができます。FedDebugによって、私たちは効果的なデバッグ手法を連合学習に導入し、FLアプリケーション開発者の品質と生産性を向上させることができます。

要約(オリジナル)

In Federated Learning (FL), clients train a model locally and share it with a central aggregator to build a global model. Impermissibility to access client’s data and collaborative training makes FL appealing for applications with data-privacy concerns such as medical imaging. However, these FL characteristics pose unprecedented challenges for debugging. When a global model’s performance deteriorates, finding the round and the clients responsible is a major pain point. Developers resort to trial-and-error debugging with subsets of clients, hoping to increase the accuracy or let future FL rounds retune the model, which are time-consuming and costly. We design a systematic fault localization framework, FedDebug, that advances the FL debugging on two novel fronts. First, FedDebug enables interactive debugging of realtime collaborative training in FL by leveraging record and replay techniques to construct a simulation that mirrors live FL. FedDebug’s {\em breakpoint} can help inspect an FL state (round, client, and global model) and seamlessly move between rounds and clients’ models, enabling a fine-grained step-by-step inspection. Second, FedDebug automatically identifies the client responsible for lowering global model’s performance without any testing data and labels–both are essential for existing debugging techniques. FedDebug’s strengths come from adapting differential testing in conjunction with neurons activations to determine the precise client deviating from normal behavior. FedDebug achieves 100\% to find a single client and 90.3\% accuracy to find multiple faulty clients. FedDebug’s interactive debugging incurs 1.2\% overhead during training, while it localizes a faulty client in only 2.1\% of a round’s training time. With FedDebug, we bring effective debugging practices to federated learning, improving the quality and productivity of FL application developers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL