Stability and List-Replicability for Agnostic Learners

要約

2 つの独創的な論文、Alon、Livni、Malliaris、Moran (STOC 2019) と Bun、Livni、Moran (FOCS 2020) は、バイナリ分類におけるオンライン学習可能性と世界的に安定した PAC 学習可能性との同等性を確立しました。
しかし、Chase、Chornomaz、Moran、および Yehudayoff (STOC 2024) は、この等価性が不可知論的な設定では成り立たないことを最近示しました。
具体的には、不可知論的な設定では、有限の仮説クラスのみがグローバルに安定して学習可能であることを証明しました。
したがって、不可知論的な大域的安定性は、興味深い仮説クラスを捕捉するには制限が多すぎます。
この制限に対処するために、Chase \emph{et al.} は、不可知論的なグローバル安定性の 2 つの緩和を導入しました。
この論文では、提案された緩和条件下で学習可能なクラスを特徴付け、研究で提起された 2 つの未解決の問題を解決します。
まず、安定性パラメーターが超過誤差 (学習者の誤差と仮説クラスによって達成可能な最良の誤差との間のギャップ) に依存する可能性がある設定では、不可知論的安定性がリトルストーン次元によって完全に特徴付けられることを証明します。
したがって、実現可能な場合と同様に、この形式の学習可能性はオンライン学習可能性と同等です。
この定理の証明の一部として、Bun らの有名な結果を強化します。
これは、安定性パラメーターが過剰誤差に依存することを許可したとしても、無限のリトルストーン次元を持つクラスは安定して PAC 学習可能ではないことを示しています。
Chaseらによって提案された2番目の緩和では、たとえ不可知論的な設定を母集団損失が小さい分布に制限したとしても、有限の仮説クラスのみがグローバルに安定して学習可能であることを証明します。

要約(オリジナル)

Two seminal papers–Alon, Livni, Malliaris, Moran (STOC 2019) and Bun, Livni, and Moran (FOCS 2020)–established the equivalence between online learnability and globally stable PAC learnability in binary classification. However, Chase, Chornomaz, Moran, and Yehudayoff (STOC 2024) recently showed that this equivalence does not hold in the agnostic setting. Specifically, they proved that in the agnostic setting, only finite hypothesis classes are globally stable learnable. Therefore, agnostic global stability is too restrictive to capture interesting hypothesis classes. To address this limitation, Chase \emph{et al.} introduced two relaxations of agnostic global stability. In this paper, we characterize the classes that are learnable under their proposed relaxed conditions, resolving the two open problems raised in their work. First, we prove that in the setting where the stability parameter can depend on the excess error (the gap between the learner’s error and the best achievable error by the hypothesis class), agnostic stability is fully characterized by the Littlestone dimension. Consequently, as in the realizable case, this form of learnability is equivalent to online learnability. As part of the proof of this theorem, we strengthen the celebrated result of Bun et al. by showing that classes with infinite Littlestone dimension are not stably PAC learnable, even if we allow the stability parameter to depend on the excess error. For the second relaxation proposed by Chase et al., we prove that only finite hypothesis classes are globally stable learnable even if we restrict the agnostic setting to distributions with small population loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google