SLPerf: a Unified Framework for Benchmarking Split Learning

要約

データプライバシーの懸念により、サイロに分散したデータを一元的にトレーニングすることが不可能になり、共同学習フレームワークの必要性が生じています。
これに対処するために、フェデレーテッド ラーニング (FL) とスプリット ラーニング (SL) という 2 つの著名なフレームワークが登場しました。
FL はさまざまなベンチマーク フレームワークと研究ライブラリを確立していますが、SL は、ラベルの共有、モデルの集約、カット レイヤーの選択の点で多様性があるにもかかわらず、現在、統一されたライブラリを欠いています。
標準化の欠如により、SL パラダイムの比較が困難になります。
これに対処するために、私たちは SL の統一研究フレームワークおよびオープン研究ライブラリである SLPerf を提案し、IID と非 IID データ設定の両方で広く使用されている 4 つのデータセットに対して広範な実験を実施します。
私たちの貢献には、最近提案された SL パラダイムの包括的な調査、さまざまな状況におけるさまざまな SL パラダイムの詳細なベンチマーク比較、SL パラダイムを改善するための豊富なエンジニアリングの要点メッセージと研究の洞察が含まれます。
SLPerf は、SL アルゴリズムの開発と公平なパフォーマンスの比較を容易にします。
コードは https://github.com/Rainysponge/Split-learning- Attacks で入手できます。

要約(オリジナル)

Data privacy concerns has made centralized training of data, which is scattered across silos, infeasible, leading to the need for collaborative learning frameworks. To address that, two prominent frameworks emerged, i.e., federated learning (FL) and split learning (SL). While FL has established various benchmark frameworks and research libraries,SL currently lacks a unified library despite its diversity in terms of label sharing, model aggregation, and cut layer choice. This lack of standardization makes comparing SL paradigms difficult. To address this, we propose SLPerf, a unified research framework and open research library for SL, and conduct extensive experiments on four widely-used datasets under both IID and Non-IID data settings. Our contributions include a comprehensive survey of recently proposed SL paradigms, a detailed benchmark comparison of different SL paradigms in different situations, and rich engineering take-away messages and research insights for improving SL paradigms. SLPerf can facilitate SL algorithm development and fair performance comparisons. The code is available at https://github.com/Rainysponge/Split-learning-Attacks .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google