Quantized Fourier and Polynomial Features for more Expressive Tensor Network Models

要約

カーネル マシンのコンテキストでは、データを高次元空間にマッピングすることで線形モデルに非線形拡張を提供するために、多項式およびフーリエ特徴が一般的に使用されます。
正確な大規模学習を実現不可能にする学習問題の二重定式化を考慮しない限り、テンソル積構造によって引き起こされるデータの次元におけるモデル パラメーターの指数関数的な増加により、高次元の問題に取り組むことができなくなります。
この指数関数的なスケーリングを回避する可能なアプローチの 1 つは、モデルの重みをパラメータ化されていないテンソル ネットワークに制約することで、フィーチャ内に存在するテンソル構造を利用することです。
この論文では、多項式とフーリエの特徴を量子化、つまりさらにテンソル化します。
この特徴の量子化に基づいて、関連するモデルの重みを量子化し、量子化されたモデルを生成することを提案します。
同じ数のモデルパラメータに対して、結果として得られる量子化モデルは、同じ特徴から学習しながら、追加の計算コストなしで、非量子化モデルとは対照的に、VC 次元の境界がより高いことを示します。
この追加のテンソル化がデータ内の最も顕著な特徴を優先することで学習問題をどのように正規化するのか、またそれがモデルに一般化機能の向上をどのように提供するのかを実験的に検証します。
最後に、大規模な回帰タスクでアプローチのベンチマークを行い、ラップトップ コンピューターで最先端の結果を達成しました。

要約(オリジナル)

In the context of kernel machines, polynomial and Fourier features are commonly used to provide a nonlinear extension to linear models by mapping the data to a higher-dimensional space. Unless one considers the dual formulation of the learning problem, which renders exact large-scale learning unfeasible, the exponential increase of model parameters in the dimensionality of the data caused by their tensor-product structure prohibits to tackle high-dimensional problems. One of the possible approaches to circumvent this exponential scaling is to exploit the tensor structure present in the features by constraining the model weights to be an underparametrized tensor network. In this paper we quantize, i.e. further tensorize, polynomial and Fourier features. Based on this feature quantization we propose to quantize the associated model weights, yielding quantized models. We show that, for the same number of model parameters, the resulting quantized models have a higher bound on the VC-dimension as opposed to their non-quantized counterparts, at no additional computational cost while learning from identical features. We verify experimentally how this additional tensorization regularizes the learning problem by prioritizing the most salient features in the data and how it provides models with increased generalization capabilities. We finally benchmark our approach on large regression task, achieving state-of-the-art results on a laptop computer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google