Hot PATE: Private Aggregation of Distributions for Diverse Task

要約

Private Aggregation of Teacher Ensembles (PATE)フレームワーク~PapernotAEGT:ICLR2017}は、プライバシーを保護する機械学習への汎用的なアプローチである。PATEでは、教師モデルは機密データの別個の部分で訓練され、それらの予測は、生徒モデルのための新しい訓練例をラベル付けするために非公開で集約される。 これまで、PATEは主に分類のようなタスクで研究されてきた。そこでは、各例は真実のラベルを持ち、知識は公開された例にラベルを付けることで生徒に伝達される。しかし、生成AIモデルは、従来のラベル付けされた例とは一致しない可能性のある、複数の有効な回答やシナリオを持つオープンエンドなタスクに優れています。さらに、モデルの知識は回答分布自体にカプセル化されていることが多く、より流動的な方法で教師から生徒に伝達される可能性があります。我々は、このような多様な設定に合わせた「ホットPATE」を提案する。ホットPATEでは、各教師モデルが回答分布を生成し、集計方法は回答のプライバシーと多様性の両方を保持しなければならない。我々は、解析的かつ経験的に、ホットPATEが、ベースラインである“コールド”PATEに匹敵し、多様な設定において、大幅に上回るプライバシーとユーティリティのトレードオフを達成することを実証する。

要約(オリジナル)

The Private Aggregation of Teacher Ensembles (PATE) framework~\cite{PapernotAEGT:ICLR2017} is a versatile approach to privacy-preserving machine learning. In PATE, teacher models are trained on distinct portions of sensitive data, and their predictions are privately aggregated to label new training examples for a student model. Until now, PATE has primarily been explored with classification-like tasks, where each example possesses a ground-truth label, and knowledge is transferred to the student by labeling public examples. Generative AI models, however, excel in open ended \emph{diverse} tasks with multiple valid responses and scenarios that may not align with traditional labeled examples. Furthermore, the knowledge of models is often encapsulated in the response distribution itself and may be transferred from teachers to student in a more fluid way. We propose \emph{hot PATE}, tailored for the diverse setting. In hot PATE, each teacher model produces a response distribution and the aggregation method must preserve both privacy and diversity of responses. We demonstrate, analytically and empirically, that hot PATE achieves privacy-utility tradeoffs that are comparable to, and in diverse settings, significantly surpass, the baseline “cold” PATE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL