Sparse Representer Theorems for Learning in Reproducing Kernel Banach Spaces

要約

学習ソリューションのスパース性は、機械学習において望ましい機能です。
特定の再現カーネル バナッハ空間 (RKBS) は、スパース学習方法に適した仮説空間です。
このペーパーの目的は、どのような種類の RKBS が学習ソリューションのスパース性を促進できるかを理解することです。
RKBS における 2 つの典型的な学習モデル、つまり最小ノルム補間 (MNI) 問題と正則化問題を検討します。
まず、これらの問題の解に対する明示的な表現者定理を確立します。この定理は、データに依存するノルム関数の微分集合の極点の線形結合によって解集合の極点を表します。
次に、解の明示的な表現を、観測されたデータの数よりも項の少ないスパースなカーネル表現に変換できる RKBS 上の十分な条件を提案します。
提案された十分条件の下で、正則化された解のスパース性に及ぼす正則化パラメータの役割を調査します。
さらに、2 つの特定の RKBS、シーケンス空間 $\ell_1(\mathbb{N})$ とメジャー空間が、MNI モデルと正則化モデルの両方に対してスパース表現定理を持つことができることを示します。

要約(オリジナル)

Sparsity of a learning solution is a desirable feature in machine learning. Certain reproducing kernel Banach spaces (RKBSs) are appropriate hypothesis spaces for sparse learning methods. The goal of this paper is to understand what kind of RKBSs can promote sparsity for learning solutions. We consider two typical learning models in an RKBS: the minimum norm interpolation (MNI) problem and the regularization problem. We first establish an explicit representer theorem for solutions of these problems, which represents the extreme points of the solution set by a linear combination of the extreme points of the subdifferential set, of the norm function, which is data-dependent. We then propose sufficient conditions on the RKBS that can transform the explicit representation of the solutions to a sparse kernel representation having fewer terms than the number of the observed data. Under the proposed sufficient conditions, we investigate the role of the regularization parameter on sparsity of the regularized solutions. We further show that two specific RKBSs: the sequence space $\ell_1(\mathbb{N})$ and the measure space can have sparse representer theorems for both MNI and regularization models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google