Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction

要約

機能インタラクションのモデリングは、特に高次の明示的なインタラクションに関しては、クリックスルー率 (CTR) 予測にとって重要です。
従来の手法では、相互作用の最大順序が事前に定義されていることが多く、事前の知識に大きく依存しており、モデルの有効性が制限される可能性があるため、このタスクに苦労しています。
さらに、高次の相互作用をモデル化すると、通常、計算コストの増加につながります。
したがって、効率を維持しながら高次の特徴の相互作用を適応的にモデル化することが課題となります。
この問題に対処するために、予測精度と計算効率の両方を最適化するように設計された Kolmogorov-Arnold Represented Sparse Efficient Interaction Network (KarSein) を導入します。
まず、コルモゴロフ・アーノルド・ネットワーク (KAN) を CTR に直接適用することの限界を特定し、次にこれらの問題を克服するために KarSein を導入します。
これは、KAN の計算コストを削減し、特徴入力としてベクトルの埋め込みをサポートする新しいアーキテクチャを特徴としています。
さらに、KarSein は、乗法関係を自発的に学習する際の KAN の課題に対処するために、ガイド付きシンボリック回帰を採用しています。
広範な実験により、KarSein の優れたパフォーマンスが実証され、最小限の計算オーバーヘッドで大幅な予測精度が達成されます。
さらに、KarSein は強力なグローバル説明可能性を維持しながら、冗長な機能の削除を可能にし、その結果、疎なネットワーク構造が得られます。
これらの利点により、KarSein は効率的な推論のための有望な方法として位置づけられます。

要約(オリジナル)

Modeling feature interactions is crucial for click-through rate (CTR) prediction, particularly when it comes to high-order explicit interactions. Traditional methods struggle with this task because they often predefine a maximum interaction order, which relies heavily on prior knowledge and can limit the model’s effectiveness. Additionally, modeling high-order interactions typically leads to increased computational costs. Therefore, the challenge lies in adaptively modeling high-order feature interactions while maintaining efficiency. To address this issue, we introduce Kolmogorov-Arnold Represented Sparse Efficient Interaction Network (KarSein), designed to optimize both predictive accuracy and computational efficiency. We firstly identify limitations of directly applying Kolmogorov-Arnold Networks (KAN) to CTR and then introduce KarSein to overcome these issues. It features a novel architecture that reduces the computational costs of KAN and supports embedding vectors as feature inputs. Additionally, KarSein employs guided symbolic regression to address the challenge of KAN in spontaneously learning multiplicative relationships. Extensive experiments demonstrate KarSein’s superior performance, achieving significant predictive accuracy with minimal computational overhead. Furthermore, KarSein maintains strong global explainability while enabling the removal of redundant features, resulting in a sparse network structure. These advantages also position KarSein as a promising method for efficient inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google