Complex-to-Real Sketches for Tensor Products with Applications to the Polynomial Kernel

要約

タイトル：多項式カーネルへのテンソル積の複素数から実数へのスケッチ

要約：

– ランダムスケッチは、$p$個のベクトルのテンソル積を統計的効率と計算速度のトレードオフで構成する方法です。
– 通常、ハイディメンショナルなテンソル積を明示的に計算することを避け、埋め込み次元に$\mathcal{O}(3^p)$の低劣な依存性が生じます。
– 本論文では既知のスケッチのシンプルな複素数から実数への変更（CtR）を提案し、実数のランダム射影を複素ランダム射影に置き換え、埋め込み次元で低い$\mathcal{O}(2^p)$因子が生じます。
– 当社のスケッチの出力は実数であり、下流の使用が簡単になります。
– 特に、多項式カーネルの特徴マップに対応する$p$重自己テンソル入力に当社のスケッチを適用します。
– 当社の方法は、文献からの他のランダム化の近似に対して、精度と速度の面では最先端のパフォーマンスを発揮します。

要約(オリジナル)

Randomized sketches of a tensor product of $p$ vectors follow a tradeoff between statistical efficiency and computational acceleration. Commonly used approaches avoid computing the high-dimensional tensor product explicitly, resulting in a suboptimal dependence of $\mathcal{O}(3^p)$ in the embedding dimension. We propose a simple Complex-to-Real (CtR) modification of well-known sketches that replaces real random projections by complex ones, incurring a lower $\mathcal{O}(2^p)$ factor in the embedding dimension. The output of our sketches is real-valued, which renders their downstream use straightforward. In particular, we apply our sketches to $p$-fold self-tensored inputs corresponding to the feature maps of the polynomial kernel. We show that our method achieves state-of-the-art performance in terms of accuracy and speed compared to other randomized approximations from the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI