Federated Cross-Domain Click-Through Rate Prediction With Large Language Model Augmentation

要約

厳しいプライバシーの制約の下でクリックスルーレート（CTR）を正確に予測すると、特にユーザーアイテムの相互作用がまばらで断片化されている場合、大きな課題が発生します。
従来のクロスドメインCTR（CCTR）メソッドは、均一な特徴スペースを頻繁に想定し、集中データ共有に依存し、複雑なドメイン間の不一致とプライバシーを提供するプロトコルによって課される微妙なトレードオフを無視します。
ここでは、データ増強、表現解除、および適応的プライバシー保護を同期することによりこれらの制限に対処するために設計された連邦フレームワークである、大規模な言語モデルの増強（FEDCCTR-LM）を使用してフェデレーションクロスドメインCTR予測を提示します。
当社のアプローチは、3つのコアイノベーションを統合しています。
第一に、プライバシーを摂取する拡張ネットワーク（PrivaugNet）は、ユーザーとアイテムの表現を濃縮し、相互作用シーケンスを拡張し、データのスパース性と機能の不完全性を緩和し、大規模な言語モデルを採用しています。
第二に、対照学習（IDST-CL）モジュールを備えた独立したドメイン固有の変圧器は、ドメイン固有のユーザー設定と共有ユーザーの好みを解き放ち、ドメイン内表現アライメント（IDRA）およびクロスドメイン表現解離（CDRD）を採用して、学習した埋め込みを改良し、ドメインを介した知識移転を強化します。
最後に、適応的なローカル差動プライバシー（ADALDP）メカニズムは、ノイズインジェクションを動的に校正し、厳密なプライバシー保証と予測精度の間の最適なバランスを達成します。
4つの現実世界のデータセットでの経験的評価は、FedCCTR-LMが既存のベースラインを大幅に上回り、不均一なフェデレーション環境で堅牢でプライバシーを摂取し、一般化可能なクロスドメインCTR予測を提供することを示しています。

要約(オリジナル)

Accurately predicting click-through rates (CTR) under stringent privacy constraints poses profound challenges, particularly when user-item interactions are sparse and fragmented across domains. Conventional cross-domain CTR (CCTR) methods frequently assume homogeneous feature spaces and rely on centralized data sharing, neglecting complex inter-domain discrepancies and the subtle trade-offs imposed by privacy-preserving protocols. Here, we present Federated Cross-Domain CTR Prediction with Large Language Model Augmentation (FedCCTR-LM), a federated framework engineered to address these limitations by synchronizing data augmentation, representation disentanglement, and adaptive privacy protection. Our approach integrates three core innovations. First, the Privacy-Preserving Augmentation Network (PrivAugNet) employs large language models to enrich user and item representations and expand interaction sequences, mitigating data sparsity and feature incompleteness. Second, the Independent Domain-Specific Transformer with Contrastive Learning (IDST-CL) module disentangles domain-specific and shared user preferences, employing intra-domain representation alignment (IDRA) and crossdomain representation disentanglement (CDRD) to refine the learned embeddings and enhance knowledge transfer across domains. Finally, the Adaptive Local Differential Privacy (AdaLDP) mechanism dynamically calibrates noise injection to achieve an optimal balance between rigorous privacy guarantees and predictive accuracy. Empirical evaluations on four real-world datasets demonstrate that FedCCTR-LM substantially outperforms existing baselines, offering robust, privacy-preserving, and generalizable cross-domain CTR prediction in heterogeneous, federated environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google