Function Basis Encoding of Numerical Features in Factorization Machines

要約

因数分解マシン (FM) のバリアントは、モデルの精度とトレーニングと推論の低計算コストの間で優れたバランスを提供するため、大規模なリアルタイム コンテンツ推奨システムに広く使用されています。
これらのシステムは、数値列とカテゴリ列の両方を含む表形式データでトレーニングされます。
数値列を組み込むことには課題があり、それらは通常、学習または事前に選択できるスカラー変換またはビニングを使用して組み込まれます。
この研究では、選択した関数セットの関数値のベクトルに数値特徴をエンコードすることにより、数値特徴を FM バリアントに組み込む体系的かつ理論的に正当な方法を提供します。
私たちは因数分解マシンを、セグメント化された関数、つまりフィールドの値から実数までの関数の近似器と見なし、残りのフィールドにはセグメントと呼ばれる特定の定数が割り当てられていると仮定します。
この観点から、私たちの技術は、選択した関数のセットによって広がる数値特徴のセグメント化された関数を学習するモデルを生成することを示します。つまり、セグメント間で広がる係数が異なります。
したがって、モデルの精度を向上させるために、強力な近似能力を持つことが知られている関数の使用を推奨し、よく知られた近似能力、ソフトウェア ライブラリでの可用性、および効率性を理由に B-Spline 基礎を提供します。
私たちの手法では、高速なトレーニングと推論が維持され、FM モデルの計算グラフを少し修正するだけで済みます。
したがって、既存のシステムに組み込んでパフォーマンスを向上させることが容易です。
最後に、いくつかのデータセットでの総合的なパフォーマンス評価や、パフォーマンスの向上を示す実際のオンライン広告システムでの A/B テストなど、一連の実験によって私たちの主張を裏付けます。

要約(オリジナル)

Factorization machine (FM) variants are widely used for large scale real-time content recommendation systems, since they offer an excellent balance between model accuracy and low computational costs for training and inference. These systems are trained on tabular data with both numerical and categorical columns. Incorporating numerical columns poses a challenge, and they are typically incorporated using a scalar transformation or binning, which can be either learned or chosen a-priori. In this work, we provide a systematic and theoretically-justified way to incorporate numerical features into FM variants by encoding them into a vector of function values for a set of functions of one’s choice. We view factorization machines as approximators of segmentized functions, namely, functions from a field’s value to the real numbers, assuming the remaining fields are assigned some given constants, which we refer to as the segment. From this perspective, we show that our technique yields a model that learns segmentized functions of the numerical feature spanned by the set of functions of one’s choice, namely, the spanning coefficients vary between segments. Hence, to improve model accuracy we advocate the use of functions known to have strong approximation power, and offer the B-Spline basis due to its well-known approximation power, availability in software libraries, and efficiency. Our technique preserves fast training and inference, and requires only a small modification of the computational graph of an FM model. Therefore, it is easy to incorporate into an existing system to improve its performance. Finally, we back our claims with a set of experiments, including synthetic, performance evaluation on several data-sets, and an A/B test on a real online advertising system which shows improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google