Attribute-Efficient PAC Learning of Sparse Halfspaces with Constant Malicious Noise Rate

要約

まばらなハーフスペースの属性効率の高い学習は、機械学習理論の根本的な問題でした。
近年、機械学習アルゴリズムは、一般的なデータ腐敗や敵対的な攻撃に直面しています。
ノイズの腐敗に対して堅牢な効率的なアルゴリズムを設計することは、中心的な興味深いものです。
この論文では、データに一定の悪意のあるノイズが存在すると考えています。目標は、$ s $ -sparse halfspace $ w^* \ in \ mathbb {r}^d $を学習することであると考えています。
具体的には、最近の作品のラインに従い、基礎となる分布が特定の濃度条件と縁の状態を同時に満たすと仮定します。
このような条件下では、属性効率が既存のヒンジ損失最小化プログラムに対して単純なバリエーションによって達成できることを示します。
重要な貢献には、次のものが含まれます。1）一定の悪意のあるノイズ率の下で機能する属性効率の高いPAC学習アルゴリズム。
2）ヒンジの損失の最小化におけるスパースの制約を慎重に処理する新しい勾配分析。

要約(オリジナル)

Attribute-efficient learning of sparse halfspaces has been a fundamental problem in machine learning theory. In recent years, machine learning algorithms are faced with prevalent data corruptions or even adversarial attacks. It is of central interest to design efficient algorithms that are robust to noise corruptions. In this paper, we consider that there exists a constant amount of malicious noise in the data and the goal is to learn an underlying $s$-sparse halfspace $w^* \in \mathbb{R}^d$ with $\text{poly}(s,\log d)$ samples. Specifically, we follow a recent line of works and assume that the underlying distribution satisfies a certain concentration condition and a margin condition at the same time. Under such conditions, we show that attribute-efficiency can be achieved by simple variants to existing hinge loss minimization programs. Our key contribution includes: 1) an attribute-efficient PAC learning algorithm that works under constant malicious noise rate; 2) a new gradient analysis that carefully handles the sparsity constraint in hinge loss minimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google