FiBiNet++: Reducing Model Size by Low Rank Feature Interaction Layer for CTR Prediction

要約

クリックスルー率 (CTR) の推定は、多くの実世界のアプリケーションにおいて最も基本的なタスクの 1 つとなっており、さまざまなディープ モデルが提案されています。
一部の調査では、FiBiNet が最高のパフォーマンス モデルの 1 つであり、Avazu データセット上の他のすべてのモデルよりも優れていることが証明されています。
ただし、FiBiNet のモデル サイズが大きいため、その幅広い用途が妨げられています。
この論文では、FiBiNet のモデル構造を再設計する新しい FiBiNet++ モデルを提案します。これにより、モデル サイズが大幅に削減され、パフォーマンスがさらに向上します。
主な手法の 1 つは、特徴の相互作用に焦点を当てた私たちが提案する「低ランク層」に関係しており、これはモデルの優れた圧縮率を達成するための重要な推進力として機能します。
3 つの公開データセットに対する広範な実験により、FiBiNet++ が 3 つのデータセットで FiBiNet の非埋め込みモデル パラメーターを効果的に 12 倍から 16 倍削減できることが示されました。
一方、FiBiNet++ は、FiBiNet を含む最先端の CTR メソッドと比較して、大幅なパフォーマンスの向上をもたらします。

要約(オリジナル)

Click-Through Rate (CTR) estimation has become one of the most fundamental tasks in many real-world applications and various deep models have been proposed. Some research has proved that FiBiNet is one of the best performance models and outperforms all other models on Avazu dataset. However, the large model size of FiBiNet hinders its wider application. In this paper, we propose a novel FiBiNet++ model to redesign FiBiNet’s model structure, which greatly reduces model size while further improves its performance. One of the primary techniques involves our proposed ‘Low Rank Layer’ focused on feature interaction, which serves as a crucial driver of achieving a superior compression ratio for models. Extensive experiments on three public datasets show that FiBiNet++ effectively reduces non-embedding model parameters of FiBiNet by 12x to 16x on three datasets. On the other hand, FiBiNet++ leads to significant performance improvements compared to state-of-the-art CTR methods, including FiBiNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google