Differentially Private Best-Arm Identification

要約

Best Arm Identification (BAI) 問題は、適応型臨床試験の設計、ハイパーパラメーターの調整、ユーザー調査の実施など、データに敏感なアプリケーションに徐々に使用されています。
これらのアプリケーションによって引き起こされるデータプライバシーの懸念に動機付けられ、我々はローカルモデルとセントラルモデルの両方、つまり $\epsilon$-local と $\epsilon$-global Differential Privacy (DP) の両方に一定の信頼を置いて BAI の問題を研究します。
まず、プライバシーのコストを定量化するために、$\epsilon$-global DP または $\epsilon$-local DP を満たす $\delta$-correct BAI アルゴリズムのサンプル複雑さの下限を導出します。
私たちの下限は、2 つのプライバシー体制の存在を示唆しています。
高度なプライバシー体制では、その硬さは、プライバシーとトータルバリエーションに関わる新しい情報理論量の複合効果に依存します。
低プライバシー体制では、下限は非プライベートの下限まで減ります。
我々は、トップ 2 アルゴリズムの $\epsilon$-local DP と $\epsilon$-global DP のバリアント、つまりそれぞれ CTB-TT と AdaP-TT* を提案します。
$\epsilon$-local DP の場合、CTB-TT はランダム化応答に基づく平均値のプライベート推定器を組み込むことで漸近的に最適になります。
$\epsilon$-global DP の場合、平均値のプライベート推定器はアーム依存の適応エピソードで実行され、プライバシーとユーティリティの適切なトレードオフを確保するためにラプラス ノイズが追加されます。
輸送コストを調整することにより、AdaP-TT* の予想されるサンプルの複雑さは乗法定数までの漸近下限に達します。

要約(オリジナル)

Best Arm Identification (BAI) problems are progressively used for data-sensitive applications, such as designing adaptive clinical trials, tuning hyper-parameters, and conducting user studies. Motivated by the data privacy concerns invoked by these applications, we study the problem of BAI with fixed confidence in both the local and central models, i.e. $\epsilon$-local and $\epsilon$-global Differential Privacy (DP). First, to quantify the cost of privacy, we derive lower bounds on the sample complexity of any $\delta$-correct BAI algorithm satisfying $\epsilon$-global DP or $\epsilon$-local DP. Our lower bounds suggest the existence of two privacy regimes. In the high-privacy regime, the hardness depends on a coupled effect of privacy and novel information-theoretic quantities involving the Total Variation. In the low-privacy regime, the lower bounds reduce to the non-private lower bounds. We propose $\epsilon$-local DP and $\epsilon$-global DP variants of a Top Two algorithm, namely CTB-TT and AdaP-TT*, respectively. For $\epsilon$-local DP, CTB-TT is asymptotically optimal by plugging in a private estimator of the means based on Randomised Response. For $\epsilon$-global DP, our private estimator of the mean runs in arm-dependent adaptive episodes and adds Laplace noise to ensure a good privacy-utility trade-off. By adapting the transportation costs, the expected sample complexity of AdaP-TT* reaches the asymptotic lower bound up to multiplicative constants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google