Replicability and stability in learning

要約

タイトル：学習における再現性と安定性

要約：
– 科学において、研究結果を検証することができるためには再現性が必要である。
– Impagliazzo、Lei、Pitassi、Sorrell（ ’22）は、機械学習の再現性について研究を始めた。
– 学習アルゴリズムは再現可能であるとは、内部ランダム性を使用して2つのi.i.d.入力に適用した場合に、通常同じ出力を生成することを意味する。
– この再現性の変種があり、内部ランダム性を固定しない「グローバル安定性」と呼ばれる。
– 我々は、グローバル安定性には多くの学習タスクにおいて、弱くしか達成できないことを示した。
– この制限を克服するために、私たちは「リスト再現性」という概念を導入し、それがグローバル安定性と同等であることを証明した。
– さらに、リスト再現性を確率的により高いものにブーストすることができることも示した。
– 我々はまた、リスト再現可能な数と標準の学習理論的複雑度測定の基本的な関係を説明した。
– 結果的に、再現可能なアルゴリズム（Impagliazzoらの意味で）は、トリビアルな場合を除いて、ランダム化されなければならないということがわかった。
– 証明は位相的な不動点の定理に基づいている。
– すべてのアルゴリズムに対して、関連する位相的設定でPoincar\'{e}-Mirandaの定理を適用することにより、「ハード入力分布」を特定することができる。
– グローバル安定性とリスト再現性の間にはアルゴリズム上の等価性がある。

要約(オリジナル)

Replicability is essential in science as it allows us to validate and verify research findings. Impagliazzo, Lei, Pitassi and Sorrell (`22) recently initiated the study of replicability in machine learning. A learning algorithm is replicable if it typically produces the same output when applied on two i.i.d. inputs using the same internal randomness. We study a variant of replicability that does not involve fixing the randomness. An algorithm satisfies this form of replicability if it typically produces the same output when applied on two i.i.d. inputs (without fixing the internal randomness). This variant is called global stability and was introduced by Bun, Livni and Moran (’20) in the context of differential privacy. Impagliazzo et al. showed how to boost any replicable algorithm so that it produces the same output with probability arbitrarily close to 1. In contrast, we demonstrate that for numerous learning tasks, global stability can only be accomplished weakly, where the same output is produced only with probability bounded away from 1. To overcome this limitation, we introduce the concept of list replicability, which is equivalent to global stability. Moreover, we prove that list replicability can be boosted so that it is achieved with probability arbitrarily close to 1. We also describe basic relations between standard learning-theoretic complexity measures and list replicable numbers. Our results, in addition, imply that besides trivial cases, replicable algorithms (in the sense of Impagliazzo et al.) must be randomized. The proof of the impossibility result is based on a topological fixed-point theorem. For every algorithm, we are able to locate a ‘hard input distribution’ by applying the Poincar\'{e}-Miranda theorem in a related topological setting. The equivalence between global stability and list replicability is algorithmic.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI