Distributional PAC-Learning from Nisan’s Natural Proofs

要約

(要約) Carmosino et al.
(2016) は、\Lambda の回路下限の自然証明が \Lambda 回路を学習するための効率的なアルゴリズムを意味することを示しましたが、メンバーシップ クエリを使用して一様分布上でのみ使用され、\AC^0[p] \subseteq \Lambda を提供しました。
この含意が \Lambda \not\supseteq \AC^0[p] と、ランダムな例のみを使用し、任意の例の分布を学習する Valiant の PAC モデルの学習アルゴリズムに一般化できるかどうかを検討します。
ポジティブなフレーバーとネガティブなフレーバーの両方の結果を提供します。
否定的な側面としては、すべての回路クラス \Lambda について、\Lambda の自然証明から Valiant の PAC モデルでの \Lambda-circuits の学習までの含意が成立する場合、O(n^{
1.5})-uSVP (固有の最短ベクトル問題)、および O(n^{1.5})-SVP (最短ベクトル問題) および O(n^{1.5})-SIVP (最短独立ベクトル問題) の多項式時間量子解
。
これは、\Lambda の自然証明が Valiant の PAC モデルにおける \Lambda の効率的な学習アルゴリズムを意味するかどうかは、\Lambda に依存する可能性があることを示しています。
良い面としては、我々の主な結果は、ある種の通信複雑性の議論から生じる特定の自然証明 (深さ 2 の多数決回路に関する Nisan (1993) など) が、Valiant モデルの新しい分散型バリアントにおける PAC 学習アルゴリズムを暗示しているということです。
私たちの分布 PAC モデルは、Blum et al (1993) の平均ケース予測モデルや Nanashima (2021) のヒューリスティック PAC モデルよりも強力であり、ブースティングに適しているなど、独立して興味深いものにするいくつかの重要な特性を備えています。
私たちの結果の主な用途は、深さ 2 の多数決回路、自然なターゲット分布上のポリトープ、および DNF に対する新しい分布 PAC 学習アルゴリズムと、深さ 2 の多数決回路によって評価できるエンコードされた入力の弱い PRF が存在しないことです。

要約(オリジナル)

(Abridged) Carmosino et al. (2016) demonstrated that natural proofs of circuit lower bounds for \Lambda imply efficient algorithms for learning \Lambda-circuits, but only over the uniform distribution, with membership queries, and provided \AC^0[p] \subseteq \Lambda. We consider whether this implication can be generalized to \Lambda \not\supseteq \AC^0[p], and to learning algorithms in Valiant’s PAC model, which use only random examples and learn over arbitrary example distributions. We give results of both positive and negative flavor. On the negative side, we observe that if, for every circuit class \Lambda, the implication from natural proofs for \Lambda to learning \Lambda-circuits in Valiant’s PAC model holds, then there is a polynomial time solution to O(n^{1.5})-uSVP (unique Shortest Vector Problem), and polynomial time quantum solutions to O(n^{1.5})-SVP (Shortest Vector Problem) and O(n^{1.5})-SIVP (Shortest Independent Vector Problem). This indicates that whether natural proofs for \Lambda imply efficient learning algorithms for \Lambda in Valiant’s PAC model may depend on \Lambda. On the positive side, our main result is that specific natural proofs arising from a type of communication complexity argument (e.g., Nisan (1993), for depth-2 majority circuits) imply PAC-learning algorithms in a new distributional variant of Valiant’s model. Our distributional PAC model is stronger than the average-case prediction model of Blum et al (1993) and the heuristic PAC model of Nanashima (2021), and has several important properties which make it of independent interest, such as being boosting-friendly. The main applications of our result are new distributional PAC-learning algorithms for depth-2 majority circuits, polytopes and DNFs over natural target distributions, as well as the nonexistence of encoded-input weak PRFs that can be evaluated by depth-2 majority circuits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google