Statistical Indistinguishability of Learning Algorithms

要約

2 つの異なる関係者が自分たちのデータに対して同じ学習ルールを使用する場合、2 つの結果の分布が類似しているかどうかをどのようにテストできますか?
この論文では、分布の総変動 (TV) 距離のレンズを通して、学習ルールの結果の類似性を研究します。
同じ分布から独立して抽出された 2 つのトレーニング データセットに対して実行された出力の事後分布間の予想 TV 距離が小さい場合、学習ルールは TV と区別できないと言います。
まず、TV 識別不能学習者を使用して仮説クラスの学習可能性を調査します。
私たちの主な結果は、テレビの識別不能性と、複製可能性や近似差分プライバシーなどの既存のアルゴリズムの安定性の概念との間の情報理論上の同等性です。
次に、テレビの区別がつかない学習者向けに統計的増幅およびブースティング アルゴリズムを提供します。

要約(オリジナル)

When two different parties use the same learning rule on their own data, how can we test whether the distributions of the two outcomes are similar? In this paper, we study the similarity of outcomes of learning rules through the lens of the Total Variation (TV) distance of distributions. We say that a learning rule is TV indistinguishable if the expected TV distance between the posterior distributions of its outputs, executed on two training data sets drawn independently from the same distribution, is small. We first investigate the learnability of hypothesis classes using TV indistinguishable learners. Our main results are information-theoretic equivalences between TV indistinguishability and existing algorithmic stability notions such as replicability and approximate differential privacy. Then, we provide statistical amplification and boosting algorithms for TV indistinguishable learners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google