On the Computability of Robust PAC Learning

要約

私たちは、敵対的にロバストな学習のための計算能力要件の研究を開始します。
敵対的に堅牢な PAC タイプの学習可能性は、現在では確立された研究分野です。
ただし、PAC タイプのフレームワークにおける計算可能性要件の影響は、まだ現れ始めたばかりです。
我々は、ロバストな計算可能な PAC (ロバスト CPAC) 学習の問題を導入し、これに対するいくつかの簡単な十分条件を提供します。
次に、この設定の学習可能性はそのコンポーネントの組み合わせによって暗示されるものではないことを示します。つまり、CPAC および確実に PAC 学習可能なクラスの両方が、必ずしも確実に CPAC 学習可能であるとは限りません。
さらに、新しいフレームワークがいくつかの驚くべき効果を示すことを示します。堅牢な CPAC 学習可能性のためには、堅牢な損失が計算可能である必要はありません。
特徴的な特性を理解するために、計算可能なロバストな粉砕次元という新しい次元を導入します。
私たちは、その有限性は必要ですが、堅牢な CPAC 学習可能性にとっては十分ではないことを証明します。
これは、学習可能性に対するロバストな粉砕次元の不足が推測されている、ロバストな PAC 学習可能性の文脈における対応する現象についての新たな洞察をもたらす可能性がありますが、これまでのところ解決策は見つかっていません。

要約(オリジナル)

We initiate the study of computability requirements for adversarially robust learning. Adversarially robust PAC-type learnability is by now an established field of research. However, the effects of computability requirements in PAC-type frameworks are only just starting to emerge. We introduce the problem of robust computable PAC (robust CPAC) learning and provide some simple sufficient conditions for this. We then show that learnability in this setup is not implied by the combination of its components: classes that are both CPAC and robustly PAC learnable are not necessarily robustly CPAC learnable. Furthermore, we show that the novel framework exhibits some surprising effects: for robust CPAC learnability it is not required that the robust loss is computably evaluable! Towards understanding characterizing properties, we introduce a novel dimension, the computable robust shattering dimension. We prove that its finiteness is necessary, but not sufficient for robust CPAC learnability. This might yield novel insights for the corresponding phenomenon in the context of robust PAC learnability, where insufficiency of the robust shattering dimension for learnability has been conjectured, but so far a resolution has remained elusive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google