Label Inference Attack against Split Learning under Regression Setting

要約

タイトル-回帰設定下のSplit Learningに対するラベル推論攻撃

要約:
– Split Learning（SL）は、2つの参加者によるモデルトレーニングの協力において、データサンプルの特徴を保持する1つの参加者と、対応するラベルを保持するもう1つの参加者がある垂直Federated Learning（vFL）の重要な構成要素とされています。
– 共有情報がプライベートな生データやラベルではなく、埋め込みベクトルや勾配であるため、この方法はプライベートであると主張されています。
– しかし、最近の研究では、勾配によってプライベートなラベルが漏洩することが示されています。これまでの攻撃は、プライベートなラベルが離散的な分類設定である場合にのみ機能します。
– この研究では、プライベートなラベルが連続数値（分類における離散的なラベルではなく）である回帰モデルのシナリオにおける漏洩を調査しました。これにより、出力範囲が無限であるため、以前の攻撃は連続的なラベルを推論するのが難しかったことに対処するために、モデルトレーニングのプロパティの側面で、勾配情報や追加の学習正則化目的を統合する新しい学習ベースの攻撃を提案しました。
– 様々なデータセットとモデルに対する包括的な実験により、提案された攻撃の効果が示されました。
– vFLフレームワークをより安全なものにするための将来の分析の道を開くことを望みます。

要約(オリジナル)

As a crucial building block in vertical Federated Learning (vFL), Split Learning (SL) has demonstrated its practice in the two-party model training collaboration, where one party holds the features of data samples and another party holds the corresponding labels. Such method is claimed to be private considering the shared information is only the embedding vectors and gradients instead of private raw data and labels. However, some recent works have shown that the private labels could be leaked by the gradients. These existing attack only works under the classification setting where the private labels are discrete. In this work, we step further to study the leakage in the scenario of the regression model, where the private labels are continuous numbers (instead of discrete labels in classification). This makes previous attacks harder to infer the continuous labels due to the unbounded output range. To address the limitation, we propose a novel learning-based attack that integrates gradient information and extra learning regularization objectives in aspects of model training properties, which can infer the labels under regression settings effectively. The comprehensive experiments on various datasets and models have demonstrated the effectiveness of our proposed attack. We hope our work can pave the way for future analyses that make the vFL framework more secure.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI