Tester-Learners for Halfspaces: Universal Algorithms

要約

構造化された分布の幅広いクラスにわたって普遍的に成功する、ハーフスペースの最初のテスター学習器を提供します。
私たちのユニバーサル テスター学習者は完全な多項式時間で実行され、次の保証があります。学習者は、テスターが受け入れる任意のラベル付き分布でエラー $O(\mathrm{opt}) + \epsilon$ を達成します。さらに、テスターは、
周辺分布は、ポアンカレの不等式を満たす任意の分布です。
テスト可能な学習に関するこれまでの研究とは対照的に、私たちのテスターは単一のターゲット分布に合わせて調整されているのではなく、ターゲットクラスの分布全体に対して成功します。
ポアンカレ分布のクラスには、すべての強い対数凹分布が含まれ、Kannan–L\'{o}vasz–Simonovits (KLS) 予想を仮定すると、すべての対数凹分布が含まれます。
ラベル ノイズが Massart であることがわかっている特殊なケースでは、テスター学習者は、すべての対数凹分布を無条件に (KLS を仮定せずに) 受け入れながら、エラー $\mathrm{opt} + \epsilon$ を達成します。
私たちのテストは、二乗和 (SOS) プログラムを使用して未知の分布の超収縮性をチェックすることに依存しており、ポアンカレ分布が SOS フレームワークで証明されている超収縮性であるという事実を非常に利用しています。

要約(オリジナル)

We give the first tester-learner for halfspaces that succeeds universally over a wide class of structured distributions. Our universal tester-learner runs in fully polynomial time and has the following guarantee: the learner achieves error $O(\mathrm{opt}) + \epsilon$ on any labeled distribution that the tester accepts, and moreover, the tester accepts whenever the marginal is any distribution that satisfies a Poincar\’e inequality. In contrast to prior work on testable learning, our tester is not tailored to any single target distribution but rather succeeds for an entire target class of distributions. The class of Poincar\’e distributions includes all strongly log-concave distributions, and, assuming the Kannan–L\'{o}vasz–Simonovits (KLS) conjecture, includes all log-concave distributions. In the special case where the label noise is known to be Massart, our tester-learner achieves error $\mathrm{opt} + \epsilon$ while accepting all log-concave distributions unconditionally (without assuming KLS). Our tests rely on checking hypercontractivity of the unknown distribution using a sum-of-squares (SOS) program, and crucially make use of the fact that Poincar\’e distributions are certifiably hypercontractive in the SOS framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google