Pre-training for Recommendation Unlearning

要約

グラフニューラルネットワーク（GNNS）を搭載した最新の推奨システム（GNNS）は、複雑なユーザー項目インタラクションのモデリングに優れていますが、トレーニングデータを選択的に忘れる必要があるシナリオがますます増えています。
プライバシーの懸念や好みの変更により特定のインタラクションを削除するためのユーザー要求を超えて、規制フレームワークは、モデルからの特定のユーザーデータの影響を排除する推奨システムの能力を義務付けています。
この推奨事項を解き放つチャレンジは、インタラクショングラフ内の接続を削除するとモデル全体に​​リップル効果が生じ、多数のユーザーの推奨事項に影響を与える可能性があるため、独自の困難が提示されます。
従来のアプローチには重大な欠点があります。フラグメンテーション方法にグラフ構造に損傷を与え、パフォーマンスを低下させますが、影響力の技術は、特に自己監視またはランダムアーキテクチャでは、複雑なGNNには当てはまらないと仮定します。
これらの制限に対処するために、システムを効率的に解き放つ運用のためにシステムを準備する新しいモデルに依存しない前訓練前パラダイムを提案します。
影響エンコーダは、既存のモデルパラメーターと一緒にリクエストを解除し、モデルのパフォーマンス特性を維持しながら完全な再訓練を避けて、ほとんど微調整されていない未学習モデルの更新されたパラメーターを直接生成します。
パブリックベンチマークでの広範な評価は、私たちの方法が、再トレーニングアプローチと比較して10倍以上のスピードアップを提供しながら、例外的な学習効果を提供することを示しています。
https://github.com/hkuds/unlearnrecでメソッドの実装をリリースします。

要約(オリジナル)

Modern recommender systems powered by Graph Neural Networks (GNNs) excel at modeling complex user-item interactions, yet increasingly face scenarios requiring selective forgetting of training data. Beyond user requests to remove specific interactions due to privacy concerns or preference changes, regulatory frameworks mandate recommender systems’ ability to eliminate the influence of certain user data from models. This recommendation unlearning challenge presents unique difficulties as removing connections within interaction graphs creates ripple effects throughout the model, potentially impacting recommendations for numerous users. Traditional approaches suffer from significant drawbacks: fragmentation methods damage graph structure and diminish performance, while influence function techniques make assumptions that may not hold in complex GNNs, particularly with self-supervised or random architectures. To address these limitations, we propose a novel model-agnostic pre-training paradigm UnlearnRec that prepares systems for efficient unlearning operations. Our Influence Encoder takes unlearning requests together with existing model parameters and directly produces updated parameters of unlearned model with little fine-tuning, avoiding complete retraining while preserving model performance characteristics. Extensive evaluation on public benchmarks demonstrates that our method delivers exceptional unlearning effectiveness while providing more than 10x speedup compared to retraining approaches. We release our method implementation at: https://github.com/HKUDS/UnlearnRec.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google