Borsuk-Ulam and Replicable Learning of Large-Margin Halfspaces

要約

学習理論における最近の進歩により、総概念については、複製可能性、グローバルな安定性、差別的にプライベートな（DP）学習性、共有ランダム性の複製性が、リトルストーンの次元の有限性と正確に一致することが確立されています。
部分的な概念クラスでも同じことができますか？
私たちは、リトルストーンの寸法を制限し、純粋にDP-Learnableであり、高次元でも共有ランダム性である大きなマージンハーフスペースクラスを研究することにより、この質問に答えます。
$ \ gamma $ -marginの半スペースのリストの複製可能性数は\ [\ frac {d} {2} + 1 \ le \ mathrm {lr}（h _ {\ gamma}^d）\ le d、\]を満たしていることを証明します。
これにより、部分的な概念に対する驚くべき分離が明らかになります。リストの複製可能性とグローバルな安定性は、境界のあるリトルストーンの寸法、DPの学習性、または共有ランダム性の複製可能性から続きません。
主要な定理を適用することにより、次の未解決の問題にも答えます。
– 総概念クラスへの無限の次元の大規模なマージンハーフスペースの曖昧性を乱していることは、無限のリトルストーンの次元に、Alon et al。
（Focs ’21）。
– $ d $ -dimensionaleuclidean Spaceのポイントの最大値と均一な半分スペースの最大リスト複製数は$ d $であり、Chase et al。の問題を解決することを証明します。
（Focs ’23）。
– 大きなギャップ体制におけるギャップハミング距離問題の曖昧性を乱していることは、公開されていない公共のランダム化された通信の複雑さを持っていることを証明します。
これは、Fang et alの未解決の問題に答えます。
（STOC ’25）。
Chase et al。
（STOC ’24）。
上限については、クロスポリトープの特定の三角測量とSVMの一般化特性に関する最近の結果に依存する学習ルールを設計します。

要約(オリジナル)

Recent advances in learning theory have established that, for total concepts, list replicability, global stability, differentially private (DP) learnability, and shared-randomness replicability coincide precisely with the finiteness of the Littlestone dimension. Does the same hold for partial concept classes? We answer this question by studying the large-margin half-spaces class, which has bounded Littlestone dimension and is purely DP-learnable and shared-randomness replicable even in high dimensions. We prove that the list replicability number of $\gamma$-margin half-spaces satisfies \[ \frac{d}{2} + 1 \le \mathrm{LR}(H_{\gamma}^d) \le d, \] which increases with the dimension $d$. This reveals a surprising separation for partial concepts: list replicability and global stability do not follow from bounded Littlestone dimension, DP-learnability, or shared-randomness replicability. By applying our main theorem, we also answer the following open problems. – We prove that any disambiguation of an infinite-dimensional large-margin half-space to a total concept class has unbounded Littlestone dimension, answering an open question of Alon et al. (FOCS ’21). – We prove that the maximum list-replicability number of any *finite* set of points and homogeneous half-spaces in $d$-dimensional Euclidean space is $d$, resolving a problem of Chase et al. (FOCS ’23). – We prove that any disambiguation of the Gap Hamming Distance problem in the large gap regime has unbounded public-coin randomized communication complexity. This answers an open problem of Fang et al. (STOC ’25). We prove the lower bound via a topological argument involving the local Borsuk-Ulam theorem of Chase et al. (STOC ’24). For the upper bound, we design a learning rule that relies on certain triangulations of the cross-polytope and recent results on the generalization properties of SVM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google