Distributed, communication-efficient, and differentially private estimation of KL divergence

要約

分散された機密データを管理する際の重要なタスクは、分散がどの程度変化するかを測定することです。
このドリフトを理解すると、さまざまなフェデレーテッド ラーニングおよび分析タスクを効果的にサポートできます。
しかし、実際の多くの設定では、そのような情報を共有することは望ましくない場合（プライバシー上の懸念など）、または実行不可能な場合（通信コストが高い場合など）があります。
この研究では、差分プライバシーの下で、計算のフェデレーテッド モデル全体に​​わたるデータの KL 発散を推定するための新しいアルゴリズム アプローチについて説明します。
私たちはそれらの理論的特性を分析し、その性能に関する実証的研究を提示します。
それぞれの設定に応じてアルゴリズムの精度を最適化するパラメーター設定を検討します。
これらは、実際のタスクに適用できるサブバリエーションを提供し、さまざまなコンテキストおよびアプリケーション固有の信頼レベル要件に対応します。
私たちの実験結果は、私たちのプライベート推定器が差分プライバシー保証なしのベースライン アルゴリズムに匹敵する精度を達成していることを確認しています。

要約(オリジナル)

A key task in managing distributed, sensitive data is to measure the extent to which a distribution changes. Understanding this drift can effectively support a variety of federated learning and analytics tasks. However, in many practical settings sharing such information can be undesirable (e.g., for privacy concerns) or infeasible (e.g., for high communication costs). In this work, we describe novel algorithmic approaches for estimating the KL divergence of data across federated models of computation, under differential privacy. We analyze their theoretical properties and present an empirical study of their performance. We explore parameter settings that optimize the accuracy of the algorithm catering to each of the settings; these provide sub-variations that are applicable to real-world tasks, addressing different context- and application-specific trust level requirements. Our experimental results confirm that our private estimators achieve accuracy comparable to a baseline algorithm without differential privacy guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google