FedPDD: A Privacy-preserving Double Distillation Framework for Cross-silo Federated Recommendation

要約

クロスプラットフォーム レコメンデーションは、異なるプラットフォームから異種の機能を収集することでレコメンデーションの精度を向上させることを目的としています。
ただし、プラットフォーム間のこのようなサイロを越えたコラボレーションは、ますます厳しくなるプライバシー保護規制によって制限されているため、トレーニング用にデータを集約することができません。
フェデレーテッド ラーニング (FL) は、レコメンデーション シナリオにおけるデータ サイロの問題に対処するための実用的なソリューションです。
既存のクロスサイロ FL 手法は、モデル情報を送信して、重複するユーザーのデータを活用してグローバル モデルを共同で構築します。
ただし、実際には、重複するユーザーの数は非常に少ないことが多く、そのため、そのようなアプローチのパフォーマンスは大幅に制限されます。
さらに、トレーニング中にモデル情報を送信するには高額な通信コストがかかり、重大なプライバシー漏洩を引き起こす可能性があります。
この論文では、重複するユーザーが制限されている場合に知識を効率的に転送する、クロスサイロフェデレーション推奨用の FedPDD と呼ばれる新しいプライバシー保護二重蒸留フレームワークを提案します。
具体的には、二重蒸留戦略により、ローカル モデルは相手からの形式的知識だけでなく、過去の予測からの暗黙的知識も学習できるようになります。
さらに、プライバシーと高い効率を確保するために、オフライントレーニングスキームを採用し、コミュニケーションの必要性とプライバシー漏洩のリスクを軽減します。
さらに、送信される情報をさらに保護するために差分プライバシーを採用しています。
HetRec-MovieLens と Criteo という 2 つの実際のレコメンデーション データセットでの実験では、最先端のアプローチと比較した FedPDD の有効性が実証されています。

要約(オリジナル)

Cross-platform recommendation aims to improve recommendation accuracy by gathering heterogeneous features from different platforms. However, such cross-silo collaborations between platforms are restricted by increasingly stringent privacy protection regulations, thus data cannot be aggregated for training. Federated learning (FL) is a practical solution to deal with the data silo problem in recommendation scenarios. Existing cross-silo FL methods transmit model information to collaboratively build a global model by leveraging the data of overlapped users. However, in reality, the number of overlapped users is often very small, thus largely limiting the performance of such approaches. Moreover, transmitting model information during training requires high communication costs and may cause serious privacy leakage. In this paper, we propose a novel privacy-preserving double distillation framework named FedPDD for cross-silo federated recommendation, which efficiently transfers knowledge when overlapped users are limited. Specifically, our double distillation strategy enables local models to learn not only explicit knowledge from the other party but also implicit knowledge from its past predictions. Moreover, to ensure privacy and high efficiency, we employ an offline training scheme to reduce communication needs and privacy leakage risk. In addition, we adopt differential privacy to further protect the transmitted information. The experiments on two real-world recommendation datasets, HetRec-MovieLens and Criteo, demonstrate the effectiveness of FedPDD compared to the state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google