ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction

要約

クリックスルー率 (CTR) の予測は、さまざまなインターネット アプリケーションにとってますます不可欠になっています。
従来の CTR モデルは、ワンホット エンコーディングを介してマルチフィールド カテゴリ データを ID 特徴に変換し、特徴間の協調信号を抽出します。
このようなパラダイムには、意味情報の損失という問題があります。
別の研究では、ハード プロンプト テンプレートを通じて入力データをテキスト文に変換することにより、CTR 予測のための事前トレーニング済み言語モデル (PLM) の可能性を調査しています。
セマンティック信号は保存されますが、巨大なモデル サイズによってもたらされる許容できない推論オーバーヘッドは言うまでもなく、一般に協調的な情報 (機能の相互作用、純粋な ID 機能など) をキャプチャできません。
この論文では、正確な CTR 推定のために意味論的知識と協調的知識の両方をモデル化し、同時に推論の非効率性の問題に対処することを目的としています。
両方のメリットを生かし、両者のギャップを埋めるために、私たちはモデルに依存しない新しいフレームワーク (つまり、ClickPrompt) を提案します。このフレームワークには CTR モデルを組み込んで、PLM 向けのインタラクション対応のソフト プロンプトを生成します。
プロンプト拡張マスク言語モデリング (PA-MLM) 事前トレーニング タスクを設計します。このタスクでは、PLM が言語コンテキストと CTR モデルによって生成されたソフト プロンプトに基づいてマスクされたトークンを回復する必要があります。
ID とテキストの特徴からの協調的で意味論的な知識は、プロンプト インターフェイスを介して明示的に調整され、対話されます。
次に、優れたパフォーマンスを実現するために PLM を使用して CTR モデルを調整することも、推論効率を高めるために PLM を使用せずに CTR モデルのみを調整することもできます。
4 つの現実世界のデータセットでの実験により、既存のベースラインと比較して ClickPrompt の有効性が検証されます。

要約(オリジナル)

Click-through rate (CTR) prediction has become increasingly indispensable for various Internet applications. Traditional CTR models convert the multi-field categorical data into ID features via one-hot encoding, and extract the collaborative signals among features. Such a paradigm suffers from the problem of semantic information loss. Another line of research explores the potential of pretrained language models (PLMs) for CTR prediction by converting input data into textual sentences through hard prompt templates. Although semantic signals are preserved, they generally fail to capture the collaborative information (e.g., feature interactions, pure ID features), not to mention the unacceptable inference overhead brought by the huge model size. In this paper, we aim to model both the semantic knowledge and collaborative knowledge for accurate CTR estimation, and meanwhile address the inference inefficiency issue. To benefit from both worlds and close their gaps, we propose a novel model-agnostic framework (i.e., ClickPrompt), where we incorporate CTR models to generate interaction-aware soft prompts for PLMs. We design a prompt-augmented masked language modeling (PA-MLM) pretraining task, where PLM has to recover the masked tokens based on the language context, as well as the soft prompts generated by CTR model. The collaborative and semantic knowledge from ID and textual features would be explicitly aligned and interacted via the prompt interface. Then, we can either tune the CTR model with PLM for superior performance, or solely tune the CTR model without PLM for inference efficiency. Experiments on four real-world datasets validate the effectiveness of ClickPrompt compared with existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google