Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels

要約

サロゲート カーネル ベースの方法は、入力スペースと出力スペースの両方でカーネル トリックを活用することにより、構造化された出力予測に対する柔軟なソリューションを提供します。
エネルギーベースのモデルとは対照的に、統計的な保証を享受しながら、トレーニング中に推論のコストを支払うことを回避します。
ただし、近似がなければ、これらのアプローチは、限られた量のトレーニング データでのみ使用されると非難されます。
この論文では、代理カーネル法にスケッチに基づく近似を装備することを提案します。これは、入力および出力機能マップの両方で機能マップの低ランクの投影と見なされます。
Input Output Kernel ridge Regression (または Kernel Dependency Estimation) のアプローチを紹介し、最終的な予測モデルに直接プラグインできる過剰なリスク境界を提供します。
時間とメモリの複雑さを分析すると、入力カーネルをスケッチするとトレーニング時間が大幅に短縮され、出力カーネルをスケッチすると推論時間が短縮されることがわかります。
さらに、ガウスおよびサブガウスのスケッチは、小さな過剰リスクを保証する射影演算子を誘発するという意味で許容可能なスケッチであることを示します。
さまざまなタスクに関する実験により、調査結果が統合されます。

要約(オリジナル)

Surrogate kernel-based methods offer a flexible solution to structured output prediction by leveraging the kernel trick in both input and output spaces. In contrast to energy-based models, they avoid to pay the cost of inference during training, while enjoying statistical guarantees. However, without approximation, these approaches are condemned to be used only on a limited amount of training data. In this paper, we propose to equip surrogate kernel methods with approximations based on sketching, seen as low rank projections of feature maps both on input and output feature maps. We showcase the approach on Input Output Kernel ridge Regression (or Kernel Dependency Estimation) and provide excess risk bounds that can be in turn directly plugged on the final predictive model. An analysis of the complexity in time and memory show that sketching the input kernel mostly reduces training time while sketching the output kernel allows to reduce the inference time. Furthermore, we show that Gaussian and sub-Gaussian sketches are admissible sketches in the sense that they induce projection operators ensuring a small excess risk. Experiments on different tasks consolidate our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google