Anonymous Learning via Look-Alike Clustering: A Precise Analysis of Model Generalization

要約

パーソナライズされたレコメンデーション システムの人気はますます高まっていますが、ユーザー データの保護を確保することが、これらの学習システムの開発における最大の懸案事項となっています。
プライバシーを強化する一般的なアプローチには、個人データではなく匿名データを使用してモデルをトレーニングすることが含まれます。
この論文では、個人の敏感な特徴をクラスターの平均値に置き換える \emph{類似クラスタリング} と呼ばれる自然な手法を検討します。
匿名クラスター センターを使用したトレーニング モデルが汎化機能にどのような影響を与えるかについて、正確な分析を提供します。
私たちは、トレーニング セットのサイズが特徴の次元に比例して増大する漸近的な領域に焦点を当てます。
私たちの分析は凸ガウス ミニマックス定理 (CGMT) に基づいており、汎化誤差に対するさまざまなモデル コンポーネントの役割を理論的に理解することができます。
さらに、特定の高次元レジームでは、匿名クラスター中心でのトレーニングが正則化として機能し、トレーニングされたモデルの汎化誤差が改善されることを示します。
最後に、有限サンプルの数値実験を行って漸近理論を裏付けます。この実験では、サンプル サイズがわずか数百程度の場合に完全な一致が観察されます。

要約(オリジナル)

While personalized recommendations systems have become increasingly popular, ensuring user data protection remains a top concern in the development of these learning systems. A common approach to enhancing privacy involves training models using anonymous data rather than individual data. In this paper, we explore a natural technique called \emph{look-alike clustering}, which involves replacing sensitive features of individuals with the cluster’s average values. We provide a precise analysis of how training models using anonymous cluster centers affects their generalization capabilities. We focus on an asymptotic regime where the size of the training set grows in proportion to the features dimension. Our analysis is based on the Convex Gaussian Minimax Theorem (CGMT) and allows us to theoretically understand the role of different model components on the generalization error. In addition, we demonstrate that in certain high-dimensional regimes, training over anonymous cluster centers acts as a regularization and improves generalization error of the trained models. Finally, we corroborate our asymptotic theory with finite-sample numerical experiments where we observe a perfect match when the sample size is only of order of a few hundreds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google