FL-Market: Trading Private Models in Federated Learning

要約

タイトル：FL-Market：フェデレーテッドラーニングでプライバシーを保護しながらモデルのトレードを行う

要約：

– 機械学習（ML）に基づくデータ分析には十分なトレーニングデータを獲得することが大きな課題である。
– MLモデルの商品化は、ML指向のデータ獲得の経済的かつ中等度の解決策として提唱されているが、既存のモデルマーケットプレイスは、ブローカーがデータ所有者のプライバシー保護されたトレーニングデータにアクセスできることを想定しており、実践的ではないことが問題となっている。
– 本論文では、MLタスクの信頼できるデータ収集を促進するために、FL-Marketというローカルにプライバシーが保護されたモデルマーケットプレイスを提案する。FL-Marketは、フェデレーテッドラーニングを使用して、ブローカー側でトレーニングデータを中央に集める必要からMLを分離する。フェデレーテッドラーニングは、データ所有者がローカル勾配（モデル更新のために集約されるグローバル勾配にアップロードされる）を共同でトレーニングするプライバシー保護MLパラダイムである。そして、FL-Marketは勾配をローカル上で差分プライバシーによってずらし、プライバシーのリスクをさらに防止している。
– FL-Marketを駆動するために、ローカル勾配のずらしレベルを知的に決定する深層学習によるオークションメカニズムと、ずらされた勾配を集約する最適な集約メカニズムを提案する。オークションと集約メカニズムを組み合わせることで、グローバル勾配の精度を最大化し、モデルバイヤーの効用を最適化することができる。
– 実験では、提案されたメカニズムの有効性が検証されている。

要約(オリジナル)

The difficulty in acquiring a sufficient amount of training data is a major bottleneck for machine learning (ML) based data analytics. Recently, commoditizing ML models has been proposed as an economical and moderate solution to ML-oriented data acquisition. However, existing model marketplaces assume that the broker can access data owners’ private training data, which may not be realistic in practice. In this paper, to promote trustworthy data acquisition for ML tasks, we propose FL-Market, a locally private model marketplace that protects privacy not only against model buyers but also against the untrusted broker. FL-Market decouples ML from the need to centrally gather training data on the broker’s side using federated learning, an emerging privacy-preserving ML paradigm in which data owners collaboratively train an ML model by uploading local gradients (to be aggregated into a global gradient for model updating). Then, FL-Market enables data owners to locally perturb their gradients by local differential privacy and thus further prevents privacy risks. To drive FL-Market, we propose a deep learning-empowered auction mechanism for intelligently deciding the local gradients’ perturbation levels and an optimal aggregation mechanism for aggregating the perturbed gradients. Our auction and aggregation mechanisms can jointly maximize the global gradient’s accuracy, which optimizes model buyers’ utility. Our experiments verify the effectiveness of the proposed mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI