How to Forget Clients in Federated Online Learning to Rank?

要約

欧州連合の一般データ保護規則 (GDPR) などのデータ保護法は、\textit{忘れられる権利} を確立しています。ユーザー (クライアント) は、自分のデータを使用して行われた貢献を学習済みモデルから削除するよう要求できます。
このペーパーでは、Federated Online Learning to Rank (FOLTR) システムに参加しているクライアントによる貢献を削除する方法を検討します。
FOLTR システムでは、ローカルの更新をグローバル ランキング モデルに集約することによってランカーが学習されます。
ローカル更新は、特定のクライアント内で発生したクエリと暗黙的な対話を使用して、クライアント レベルでオンラインで学習されます。
そうすることで、各クライアントのローカル データは他のクライアントや集中検索サービスと共有されなくなります。同時にクライアントは、フェデレーション内の各クライアントの貢献から学習した効果的なグローバル ランキング モデルの恩恵を受けることができます。
この論文では、全体的なランカーの有効性を損なうことなく、またグローバル ランカーを最初から再トレーニングする必要なく、クライアントの貢献を削除できる効果的かつ効率的なアンラーニング方法を研究します。
主な課題は、削除を要求したクライアント $c^*$ からの寄与をモデルが学習し忘れたかどうかをどのように測定するかということです。
このため、$c^*$ にポイズニング攻撃 (このクライアントの更新にノイズを追加) を実行するように指示し、その後、学習解除プロセスが行われたときに攻撃の影響が軽減されるかどうかを測定します。
4 つのデータセットでの実験を通じて、パラメーター設定のさまざまな組み合わせの下でのアンラーニング戦略の有効性と効率性を実証します。

要約(オリジナル)

Data protection legislation like the European Union’s General Data Protection Regulation (GDPR) establishes the \textit{right to be forgotten}: a user (client) can request contributions made using their data to be removed from learned models. In this paper, we study how to remove the contributions made by a client participating in a Federated Online Learning to Rank (FOLTR) system. In a FOLTR system, a ranker is learned by aggregating local updates to the global ranking model. Local updates are learned in an online manner at a client-level using queries and implicit interactions that have occurred within that specific client. By doing so, each client’s local data is not shared with other clients or with a centralised search service, while at the same time clients can benefit from an effective global ranking model learned from contributions of each client in the federation. In this paper, we study an effective and efficient unlearning method that can remove a client’s contribution without compromising the overall ranker effectiveness and without needing to retrain the global ranker from scratch. A key challenge is how to measure whether the model has unlearned the contributions from the client $c^*$ that has requested removal. For this, we instruct $c^*$ to perform a poisoning attack (add noise to this client updates) and then we measure whether the impact of the attack is lessened when the unlearning process has taken place. Through experiments on four datasets, we demonstrate the effectiveness and efficiency of the unlearning strategy under different combinations of parameter settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google