Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources — A Case Study on Federated Fine-tuning of LLaMA 2

要約

フェデレーテッド ラーニングを使用すると、ローカルでトレーニングされたモデルのパラメーターのみを共有することで、複数のデータ所有者が大規模なローカル データセットや機密性の高いローカル データセットを転送することなく、堅牢な機械学習モデルを共同でトレーニングできます。
このペーパーでは、Globus Compute を活用することで、クラウド コンピューティング施設と高性能コンピューティング リソースにわたるエンドツーエンドの安全で信頼性の高いフェデレーテッド ラーニング実験を合理化する、Advanced Privacy-Preserving Federated Learning (APPFL) フレームワークの設計について詳しく説明します。
サービスプラットフォームとしての分散機能、およびアマゾン ウェブ サービス。
さらに、いくつかのクラウド リソースとスーパーコンピューターを使用して LLaMA 2 7B モデルを微調整する APPFL の使用例を示します。

要約(オリジナル)

Federated learning enables multiple data owners to collaboratively train robust machine learning models without transferring large or sensitive local datasets by only sharing the parameters of the locally trained models. In this paper, we elaborate on the design of our Advanced Privacy-Preserving Federated Learning (APPFL) framework, which streamlines end-to-end secure and reliable federated learning experiments across cloud computing facilities and high-performance computing resources by leveraging Globus Compute, a distributed function as a service platform, and Amazon Web Services. We further demonstrate the use case of APPFL in fine-tuning a LLaMA 2 7B model using several cloud resources and supercomputers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google