ProFL: Performative Robust Optimal Federated Learning

要約

パフォーマンス予測 (PP) は、機械学習モデルのデプロイメントによってトレーニング中に発生する分布の変化を捉えるフレームワークです。
トレーニングされたモデルが使用されると、生成されたデータによってモデルが進化し、元のデータ分布からの逸脱が生じる可能性があります。
フェデレーテッド ラーニング (FL) セットアップにおけるこのようなモデルに起因する分布の変化の影響は、現実のユースケースで発生する可能性がますます高まっているにもかかわらず、未調査のままです。
ジンらですが、
(2024) は最近、PP を単純な方法で FL に拡張しましたが、結果として得られるモデルはパフォーマンスの安定点に収束するだけであり、最適とは程遠い可能性があります。
Izzo et al.の方法。
（2021年）;
ミラーら。
(2021) は一元化された設定でパフォーマンスの最適点を見つけることができますが、パフォーマンスのリスクが凸であること、およびトレーニング データがノイズがないことを必要とし、現実的な FL システムでは仮定が違反されることがよくあります。
この論文では、これらすべての欠点を克服し、ノイズの多いデータや汚染されたデータから FL 内のパフォーマンスの最適な点を見つけるアルゴリズムであるパフォーマンスのロバスト最適フェデレーテッド ラーニング (ProFL) を提案します。
非凸対物レンズに適用される Polyak-Lojasiewicz 条件の下での収束解析を示します。
複数のデータセットに対する広範な実験により、提案されたアルゴリズムの効率が検証されます。

要約(オリジナル)

Performative prediction (PP) is a framework that captures distribution shifts that occur during the training of machine learning models due to their deployment. As the trained model is used, its generated data could cause the model to evolve, leading to deviations from the original data distribution. The impact of such model-induced distribution shifts in the federated learning (FL) setup remains unexplored despite being increasingly likely to transpire in real-life use cases. Although Jin et al. (2024) recently extended PP to FL in a straightforward manner, the resulting model only converges to a performative stable point, which may be far from optimal. The methods in Izzo et al. (2021); Miller et al. (2021) can find a performative optimal point in centralized settings, but they require the performative risk to be convex and the training data to be noiseless, assumptions often violated in realistic FL systems. This paper overcomes all of these shortcomings and proposes Performative robust optimal Federated Learning (ProFL), an algorithm that finds performative optimal points in FL from noisy and contaminated data. We present the convergence analysis under the Polyak-Lojasiewicz condition, which applies to non-convex objectives. Extensive experiments on multiple datasets validate our proposed algorithms’ efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google