Improving Retrieval in Sponsored Search by Leveraging Query Context Signals

要約

ユーザーのクエリに関連する入札キーワードを正確に取得することはスポンサードサーチでは重要ですが、特に短く曖昧なクエリの場合は依然として困難です。
既存の高密度生成検索モデルでは、このような場合、微妙なユーザーの意図を捉えることができないことがよくあります。
これに対処するために、オンライン キャッシュに保存された Web 検索結果と大規模な言語モデルから派生した豊富なコンテキスト信号でクエリを強化することで、クエリの理解を強化するアプローチを提案します。
具体的には、Web 検索のタイトルとスニペットを使用してクエリを現実世界の情報に根付かせ、GPT-4 を利用してクエリのリライトとユーザーの意図を明確にする説明を生成します。
これらの信号は、Fusion-in-Decoder ベースの Unity アーキテクチャを通じて効率的に統合され、従来のコンテキストフリー モデルと同等のサービス コストで、高密度検索と生成的検索の両方を可能にします。
キャッシュ内でコンテキストが利用できないシナリオに対処するために、推論中にコンテキスト信号がない場合でもモデルの堅牢性とパフォーマンスを向上させるカリキュラム学習戦略であるコンテキスト グランシングを導入します。
広範なオフライン実験により、コンテキスト認識アプローチがコンテキストフリー モデルよりも大幅に優れていることが実証されました。
さらに、160 か国以上の著名な検索エンジンでのオンライン A/B テストでは、ユーザー エンゲージメントと収益が大幅に向上していることが示されています。

要約(オリジナル)

Accurately retrieving relevant bid keywords for user queries is critical in Sponsored Search but remains challenging, particularly for short, ambiguous queries. Existing dense and generative retrieval models often fail to capture nuanced user intent in these cases. To address this, we propose an approach to enhance query understanding by augmenting queries with rich contextual signals derived from web search results and large language models, stored in an online cache. Specifically, we use web search titles and snippets to ground queries in real-world information and utilize GPT-4 to generate query rewrites and explanations that clarify user intent. These signals are efficiently integrated through a Fusion-in-Decoder based Unity architecture, enabling both dense and generative retrieval with serving costs on par with traditional context-free models. To address scenarios where context is unavailable in the cache, we introduce context glancing, a curriculum learning strategy that improves model robustness and performance even without contextual signals during inference. Extensive offline experiments demonstrate that our context-aware approach substantially outperforms context-free models. Furthermore, online A/B testing on a prominent search engine across 160+ countries shows significant improvements in user engagement and revenue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google