pfl-research: simulation framework for accelerating research in Private Federated Learning

要約

フェデレーション ラーニング (FL) は、サーバーや他の参加者にデータを公開することなく、クライアントがデータを所有し、協力してグローバル モデルをトレーニングする新しい機械学習 (ML) トレーニング パラダイムです。
研究者は通常、アイデアをすばやく反復するためにシミュレーション環境で実験を実行します。
ただし、既存のオープンソース ツールは、大規模でより現実的な FL データセットで FL をシミュレートするのに必要な効率を提供しません。
FL をシミュレートするための高速でモジュール式の使いやすい Python フレームワークである pfl-research を紹介します。
TensorFlow、PyTorch、および非ニューラル ネットワーク モデルをサポートし、最先端のプライバシー アルゴリズムと緊密に統合されています。
私たちはオープンソース FL フレームワークの速度を調査し、一般的なクロスデバイス設定において pfl-research が代替オープンソース フレームワークより 7 ～ 72$\倍$ 高速であることを示しました。
このようなスピードアップにより、フロリダ州研究コミュニティの生産性が大幅に向上し、これまでリソースを大量に消費していた現実的なフロリダ州データセットで仮説を検証できるようになります。
さまざまな現実的なシナリオでアルゴリズムの全体的なパフォーマンスを評価する一連のベンチマークをリリースします。
コードは GitHub (https://github.com/apple/pfl-research) で入手できます。

要約(オリジナル)

Federated learning (FL) is an emerging machine learning (ML) training paradigm where clients own their data and collaborate to train a global model, without revealing any data to the server and other participants. Researchers commonly perform experiments in a simulation environment to quickly iterate on ideas. However, existing open-source tools do not offer the efficiency required to simulate FL on larger and more realistic FL datasets. We introduce pfl-research, a fast, modular, and easy-to-use Python framework for simulating FL. It supports TensorFlow, PyTorch, and non-neural network models, and is tightly integrated with state-of-the-art privacy algorithms. We study the speed of open-source FL frameworks and show that pfl-research is 7-72$\times$ faster than alternative open-source frameworks on common cross-device setups. Such speedup will significantly boost the productivity of the FL research community and enable testing hypotheses on realistic FL datasets that were previously too resource intensive. We release a suite of benchmarks that evaluates an algorithm’s overall performance on a diverse set of realistic scenarios. The code is available on GitHub at https://github.com/apple/pfl-research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google