Learning from Aggregated Data: Curated Bags versus Random Bags

要約

ユーザーのプライバシーの保護は、大規模に展開され、多様な集団から収集される多くの機械学習システムにとって大きな懸念事項です。
この懸念に対処する 1 つの方法は、単一のユーザーに関する情報が他のユーザーと組み合わされる可能性があるように、集約された方法でデータ ラベルを収集および公開することです。
このペーパーでは、個別のラベルではなく、集約されたデータ ラベルを使用して機械学習モデルをトレーニングする可能性を検討します。
具体的には、専門家によって提案された 2 つの自然な集計手順を検討します。データ ポイントが共通の特徴に基づいてグループ化されるキュレート バッグと、データ ポイントが同様のサイズのバッグにランダムにグループ化されるランダム バッグです。
厳選されたバッグ設定と幅広い損失関数について、データの集約によって生じる可能性のあるパフォーマンスの低下なしに勾配ベースの学習を実行できることを示します。
私たちの方法は、厳選されたバッグ内の個々のデータ例の損失関数の勾配の合計が、個々のラベルを必要とせずに集約ラベルから計算できるという観察に基づいています。
ランダム バッグ設定の場合、仮説クラスの Rademacher 複雑性に基づいて一般化リスク限界を提供し、最小のリスク限界を達成するために経験的リスク最小化をどのように正規化できるかを示します。
実際、ランダムなバッグ設定では、限界が示すように、バッグのサイズと達成可能なエラー率の間にはトレードオフがあります。
最後に、理論的発見を確認するために慎重な実証研究を実施します。
特に、私たちの結果は、集約学習がモデルの精度を維持しながらユーザーのプライバシーを保護する効果的な方法である可能性があることを示唆しています。

要約(オリジナル)

Protecting user privacy is a major concern for many machine learning systems that are deployed at scale and collect from a diverse set of population. One way to address this concern is by collecting and releasing data labels in an aggregated manner so that the information about a single user is potentially combined with others. In this paper, we explore the possibility of training machine learning models with aggregated data labels, rather than individual labels. Specifically, we consider two natural aggregation procedures suggested by practitioners: curated bags where the data points are grouped based on common features and random bags where the data points are grouped randomly in bag of similar sizes. For the curated bag setting and for a broad range of loss functions, we show that we can perform gradient-based learning without any degradation in performance that may result from aggregating data. Our method is based on the observation that the sum of the gradients of the loss function on individual data examples in a curated bag can be computed from the aggregate label without the need for individual labels. For the random bag setting, we provide a generalization risk bound based on the Rademacher complexity of the hypothesis class and show how empirical risk minimization can be regularized to achieve the smallest risk bound. In fact, in the random bag setting, there is a trade-off between size of the bag and the achievable error rate as our bound indicates. Finally, we conduct a careful empirical study to confirm our theoretical findings. In particular, our results suggest that aggregate learning can be an effective method for preserving user privacy while maintaining model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google