Detecting Generated Native Ads in Conversational Search

要約

YouChat や Microsoft Copilot などの会話型検索エンジンは、大規模言語モデル (LLM) を使用してクエリに対する応答を生成します。
応答の隣に個別に広告を配置するのではなく、同じテクノロジーを使用して、生成された応答内に広告を挿入できるようにすることは、ほんの小さなステップにすぎません。
挿入された広告は、ネイティブ広告やプロダクト プレースメントを彷彿とさせます。どちらも非常に効果的な形式で、微妙で操作的な広告です。
LLM に関連する高い計算コストを考慮すると、プロバイダーは持続可能なビジネス モデルを開発する必要があり、会話型検索エンジンのユーザーは近い将来、生成されたネイティブ広告に直面する可能性があります。
したがって、このペーパーでは、LLM が対策としても使用できるかどうか、つまり、生成されたネイティブ広告をブロックできるかどうかを調査するための最初のステップを踏みます。
Webis Generated Native Ads 2024 データセットのクエリと、自動的に挿入された広告を含む生成された応答のデータセットをコンパイルし、LLM または微調整されたセンテンス トランスフォーマーが広告を検出できるかどうかを評価します。
私たちの実験では、調査対象の LLM はこのタスクに苦労しましたが、文変換機能は 0.9 を超える精度と再現率を達成しました。

要約(オリジナル)

Conversational search engines such as YouChat and Microsoft Copilot use large language models (LLMs) to generate responses to queries. It is only a small step to also let the same technology insert ads within the generated responses – instead of separately placing ads next to a response. Inserted ads would be reminiscent of native advertising and product placement, both of which are very effective forms of subtle and manipulative advertising. Considering the high computational costs associated with LLMs, for which providers need to develop sustainable business models, users of conversational search engines may very well be confronted with generated native ads in the near future. In this paper, we thus take a first step to investigate whether LLMs can also be used as a countermeasure, i.e., to block generated native ads. We compile the Webis Generated Native Ads 2024 dataset of queries and generated responses with automatically inserted ads, and evaluate whether LLMs or fine-tuned sentence transformers can detect the ads. In our experiments, the investigated LLMs struggle with the task but sentence transformers achieve precision and recall values above 0.9.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google