Privacy-Preserving Recommender Systems with Synthetic Query Generation using Differentially Private Large Language Models

要約

タイトル：差分プライバシーに基づく大規模言語モデルを使用した合成クエリ生成によるプライバシー保護型レコメンドシステム

要約：
– プライバシー保護型大規模レコメンドシステムを、差分プライバシーを使用した大規模言語モデルを用いて構築する新しいアプローチを提案する。
– この方法は、LLM（大規模言語モデル）に基づくレコメンドシステムに特に適しており、自然言語入力の表現を処理する任意のレコメンドシステムに容易に適用できる。
– この手法では、公開された事前学習済みLLMをクエリ生成タスクでDPトレーニング方法を使用して微調整することが含まれる。
– 結果として生成されたモデルは、元のクエリを表す合成クエリを生成でき、追加のプライバシーコストを負担することなく、下流の非公開推薦トレーニング手順のために自由に共有できる。
– 私たちは、この方法を使用して、有効な深層リトリーバルモデルを安全にトレーニングする能力を評価し、リトリーバルモデルが直接DPトレーニングされた方法と比較して、クエリレベルのプライバシー保証を損なうことなく、リトリーバル品質の大幅な改善を観察した。

要約(オリジナル)

We propose a novel approach for developing privacy-preserving large-scale recommender systems using differentially private (DP) large language models (LLMs) which overcomes certain challenges and limitations in DP training these complex systems. Our method is particularly well suited for the emerging area of LLM-based recommender systems, but can be readily employed for any recommender systems that process representations of natural language inputs. Our approach involves using DP training methods to fine-tune a publicly pre-trained LLM on a query generation task. The resulting model can generate private synthetic queries representative of the original queries which can be freely shared for any downstream non-private recommendation training procedures without incurring any additional privacy cost. We evaluate our method on its ability to securely train effective deep retrieval models, and we observe significant improvements in their retrieval quality without compromising query-level privacy guarantees compared to methods where the retrieval models are directly DP trained.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI