How Private is Your Attention? Bridging Privacy with In-Context Learning

要約

コンテキスト学習（ICL） – 推論時間HASで提供された例から新しいタスクを実行するトランスベースのモデルの能力は、現代言語モデルの特徴として浮上しました。
最近の作品はICLの根底にあるメカニズムを調査していますが、正式なプライバシーの制約に基づくその実現可能性はほとんど未踏のままです。
このホワイトペーパーでは、線形注意ヘッドのための差別的に私的なプリグルトレーニングアルゴリズムを提案し、線形回帰におけるICLのプライバシーaccuuracyトレードオフの最初の理論分析を提示します。
我々の結果は、最適化とプライバシー誘発ノイズの間の根本的な緊張を特徴づけ、繰り返しの方法を介してプライベートトレーニングで観察された行動を正式にキャプチャします。
さらに、標準の尾根回帰とは異なり、トレーニングプロンプトの敵対的な摂動に対して、この方法が堅牢であることを示します。
すべての理論的調査結果は、多様な設定にわたる広範なシミュレーションによってサポートされています。

要約(オリジナル)

In-context learning (ICL)-the ability of transformer-based models to perform new tasks from examples provided at inference time-has emerged as a hallmark of modern language models. While recent works have investigated the mechanisms underlying ICL, its feasibility under formal privacy constraints remains largely unexplored. In this paper, we propose a differentially private pretraining algorithm for linear attention heads and present the first theoretical analysis of the privacy-accuracy trade-off for ICL in linear regression. Our results characterize the fundamental tension between optimization and privacy-induced noise, formally capturing behaviors observed in private training via iterative methods. Additionally, we show that our method is robust to adversarial perturbations of training prompts, unlike standard ridge regression. All theoretical findings are supported by extensive simulations across diverse settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google