Reproducibility in Learning

要約

タイトル：学習における再現性
要約：
– 「再現性アルゴリズム」という概念を紹介する。
– 再現性の高い学習アルゴリズムは、同じ基礎分布からの2つのサンプルで実行された場合、高い確率で完全に同じ結果を返す。
– 再現性の定義を具体化し、正確性と再現性のバランスをとるためにランダムネスがどのように役立つかを明確にする。
– 再現性アルゴリズムの理論を始め、データの再利用性や効率的なテスト可能性など、望ましい特性を持つことを示す。
– 再現性の要求が非常に強いにもかかわらず、統計学や学習のいくつかの基本的な問題に対して、効率的な再現性アルゴリズムが存在することを示す。
– 最初に、任意の統計クエリアルゴリズムを、サンプル複雑度をわずかに増やすことで再現可能にすることを示し、近似的な重いものと中央値を見つけるための再現可能アルゴリズムを構築する。
– これらのアイデアを使用して、再現可能なウィークラーナーと再現可能なブースティングアルゴリズムを使用して、半空間の学習に対する最初の再現可能アルゴリズムを提供する。
– 最後に、再現可能アルゴリズムの下限と本来的なトレードオフの研究を開始し、再現可能なSQアルゴリズムと非再現可能なSQアルゴリズムのほぼ厳密なサンプル複雑度の上限と下限を示す。

要約(オリジナル)

We introduce the notion of a reproducible algorithm in the context of learning. A reproducible learning algorithm is resilient to variations in its samples — with high probability, it returns the exact same output when run on two samples from the same underlying distribution. We begin by unpacking the definition, clarifying how randomness is instrumental in balancing accuracy and reproducibility. We initiate a theory of reproducible algorithms, showing how reproducibility implies desirable properties such as data reuse and efficient testability. Despite the exceedingly strong demand of reproducibility, there are efficient reproducible algorithms for several fundamental problems in statistics and learning. First, we show that any statistical query algorithm can be made reproducible with a modest increase in sample complexity, and we use this to construct reproducible algorithms for finding approximate heavy-hitters and medians. Using these ideas, we give the first reproducible algorithm for learning halfspaces via a reproducible weak learner and a reproducible boosting algorithm. Finally, we initiate the study of lower bounds and inherent tradeoffs for reproducible algorithms, giving nearly tight sample complexity upper and lower bounds for reproducible versus nonreproducible SQ algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI