Detecting Generated Native Ads in Conversational Search

要約

YouChat や Microsoft Copilot などの会話型検索エンジンは、大規模言語モデル (LLM) を使用してクエリに対する回答を生成します。
オーガニック検索結果とは別に広告を掲載するのではなく、このテクノロジーを使用してこれらの回答内に広告を生成し、統合することも小さな一歩にすぎません。
このタイプの広告は、ネイティブ広告やプロダクト プレースメントを彷彿とさせます。どちらも、巧妙で操作的な広告の非常に効果的な形式です。
特にプロバイダーが持続可能なビジネス モデルを開発する必要がある LLM に関連する高い計算コストを考慮すると、情報探索者は近い将来、このような LLM テクノロジーの使用に直面することになるでしょう。
この論文では、LLM が生成されたネイティブ広告に対する対策、つまりブロックにも使用できるかどうかを調査します。
この目的のために、広告が発生しやすいクエリと、自動的に統合された広告を使用して生成された回答の大規模なデータセットをコンパイルし、広告を認識するタスクに関して微調整された文変換機能と最先端の LLM を実験します。
私たちの実験では、文変換器は検出精度と 0.9 を超える再現値を達成しましたが、調査対象の LLM はこのタスクに苦労しました。

要約(オリジナル)

Conversational search engines such as YouChat and Microsoft Copilot use large language models (LLMs) to generate answers to queries. It is only a small step to also use this technology to generate and integrate advertising within these answers – instead of placing ads separately from the organic search results. This type of advertising is reminiscent of native advertising and product placement, both of which are very effective forms of subtle and manipulative advertising. It is likely that information seekers will be confronted with such use of LLM technology in the near future, especially when considering the high computational costs associated with LLMs, for which providers need to develop sustainable business models. This paper investigates whether LLMs can also be used as a countermeasure against generated native ads, i.e., to block them. For this purpose we compile a large dataset of ad-prone queries and of generated answers with automatically integrated ads to experiment with fine-tuned sentence transformers and state-of-the-art LLMs on the task of recognizing the ads. In our experiments sentence transformers achieve detection precision and recall values above 0.9, while the investigated LLMs struggle with the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google