Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition

要約

サポート ベクター マシン (SVM) は、通常、高次元空間内の多くのデータ ポイントを処理する必要がある散在データの分類を実行するための重要なツールです。
三角関数またはウェーブレットに基づく特徴マップを使用して、SVM を主形式で解くことを提案します。
小さな次元の設定では、高速フーリエ変換 (FFT) および関連手法は、考慮された基底関数を処理するための強力なツールです。
次元が増大する場合、古典的な FFT ベースの手法は次元の呪いにより非効率になります。
したがって、それぞれが少数の次元にのみ依存する多変量基底関数に限定します。
これは、よく知られている効果の希薄性と、分散分析 (ANOVA) 分解の観点から散在データから関数を再構成するという最近の結果によって動機付けられており、結果として得られるモデルは、特徴の重要性の観点からも解釈可能になります。
それらのカップリングとして。
小さな重ね合わせ次元を使用すると、計算量が指数関数的に増加せず、次元に関して多項式にのみ増加するという結果が生じます。
基底係数に関するスパース性を強制するために、頻繁に適用される $\ell_2$-norm と、さらに $\ell_1$-norm 正則化を使用します。
見つかった分類関数 (基底関数の線形結合) とその分散は、関数の古典的な ANOVA 分解の観点から分析できます。
数値例に基づいて、モデルの仮定に完全に適合する関数の符号を回復できることを示します。
さらに、さまざまな人工データセットと現実世界のデータセットに対して分類を実行します。
$\ell_1$-norm 正則化を使用すると、精度と解釈可能性の両方の点で、より良い結果が得られます。

要約(オリジナル)

Support Vector Machines (SVMs) are an important tool for performing classification on scattered data, where one usually has to deal with many data points in high-dimensional spaces. We propose solving SVMs in primal form using feature maps based on trigonometric functions or wavelets. In small dimensional settings the Fast Fourier Transform (FFT) and related methods are a powerful tool in order to deal with the considered basis functions. For growing dimensions the classical FFT-based methods become inefficient due to the curse of dimensionality. Therefore, we restrict ourselves to multivariate basis functions, each of which only depends on a small number of dimensions. This is motivated by the well-known sparsity of effects and recent results regarding the reconstruction of functions from scattered data in terms of truncated analysis of variance (ANOVA) decompositions, which makes the resulting model even interpretable in terms of importance of the features as well as their couplings. The usage of small superposition dimensions has the consequence that the computational effort no longer grows exponentially but only polynomially with respect to the dimension. In order to enforce sparsity regarding the basis coefficients, we use the frequently applied $\ell_2$-norm and, in addition, $\ell_1$-norm regularization. The found classifying function, which is the linear combination of basis functions, and its variance can then be analyzed in terms of the classical ANOVA decomposition of functions. Based on numerical examples we show that we are able to recover the signum of a function that perfectly fits our model assumptions. Furthermore, we perform classification on different artificial and real-world data sets. We obtain better results with $\ell_1$-norm regularization, both in terms of accuracy and clarity of interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google