Privacy-Preserving Data Deduplication for Enhancing Federated Learning of Language Models (Extended Version)

要約

重複排除は、機械学習モデルのパフォーマンスを向上させ、トレーニングの時間とエネルギーを節約する重要な前処理ステップです。
ただし、重複排除によるフェデレーテッド ラーニングの強化には、特にスケーラビリティと、重複排除にすべてのクライアントのデータの共有が含まれる場合の潜在的なプライバシー侵害に関して課題が生じます。
このペーパーでは、先駆的なプロトコルである Efficient Privacy-Preserving Multi-Party Deduplication (EP-MPD) を導入することで、フェデレーテッド セットアップにおける重複排除の問題に対処します。
データのプライバシーを損なうことなく、複数のクライアントのデータセットから重複を効率的に削除します。
EP-MPD は、プライベート セット インターセクション プロトコルの 2 つの新しいバリアントを利用して、モジュール方式で構築されます。
私たちの広範な実験は、大規模な言語モデルのフェデレーテッド ラーニングにおける重複排除の大きな利点を実証しています。
たとえば、重複レベルを 10\% から 30\% の間で変化させた場合、複雑さは最大 19.62\% 改善され、実行時間は最大 27.95\% 削減されました。
EP-MPD は、フェデレーテッド ラーニングにおけるプライバシーとパフォーマンスのバランスを効果的に調整し、大規模なアプリケーションにとって価値のあるソリューションとなります。

要約(オリジナル)

Deduplication is a vital preprocessing step that enhances machine learning model performance and saves training time and energy. However, enhancing federated learning through deduplication poses challenges, especially regarding scalability and potential privacy violations if deduplication involves sharing all clients’ data. In this paper, we address the problem of deduplication in a federated setup by introducing a pioneering protocol, Efficient Privacy-Preserving Multi-Party Deduplication (EP-MPD). It efficiently removes duplicates from multiple clients’ datasets without compromising data privacy. EP-MPD is constructed in a modular fashion, utilizing two novel variants of the Private Set Intersection protocol. Our extensive experiments demonstrate the significant benefits of deduplication in federated learning of large language models. For instance, we observe up to 19.62\% improvement in perplexity and up to 27.95\% reduction in running time while varying the duplication level between 10\% and 30\%. EP-MPD effectively balances privacy and performance in federated learning, making it a valuable solution for large-scale applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google