Ranking Manipulation for Conversational Search Engines

要約

主要な検索エンジン プロバイダーは、ユーザーのクエリに応じて、Large Language Model (LLM) で生成されたコンテンツを急速に組み込んでいます。
これらの会話型検索エンジンは、取得した Web サイトのテキストを LLM コンテキストにロードして要約と解釈を行うことによって動作します。
最近の研究では、LLM は脱獄やプロンプト インジェクション攻撃に対して非常に脆弱であることが実証されており、敵対的文字列を使用する LLM の安全性と品質目標が損なわれます。
この研究では、会話型検索エンジンが参照するソースのランキング順序に対するプロンプト インジェクションの影響を調査しています。
この目的のために、現実世界の消費者製品 Web サイトの焦点を絞ったデータセットを導入し、会話型検索ランキングを敵対的問題として形式化します。
実験的に、敵対的インジェクションがない場合の会話型検索ランキングを分析し、製品名、ドキュメントの内容、およびコンテキストの位置の優先順位付けが LLM によって大きく異なることを示しました。
次に、低ランクの製品を確実に宣伝する、ツリーオブアタックベースのジェイルブレイク手法を紹介します。
重要なのは、これらの攻撃は、perplexity$.$ai などの最先端の会話型検索エンジンに効率的に転送されることです。
Web サイト所有者が検索ランキングを向上させるという強力な経済的インセンティブを考慮すると、問題の定式化は将来の堅牢性の作業にとって非常に重要であると私たちは主張します。

要約(オリジナル)

Major search engine providers are rapidly incorporating Large Language Model (LLM)-generated content in response to user queries. These conversational search engines operate by loading retrieved website text into the LLM context for summarization and interpretation. Recent research demonstrates that LLMs are highly vulnerable to jailbreaking and prompt injection attacks, which disrupt the safety and quality goals of LLMs using adversarial strings. This work investigates the impact of prompt injections on the ranking order of sources referenced by conversational search engines. To this end, we introduce a focused dataset of real-world consumer product websites and formalize conversational search ranking as an adversarial problem. Experimentally, we analyze conversational search rankings in the absence of adversarial injections and show that different LLMs vary significantly in prioritizing product name, document content, and context position. We then present a tree-of-attacks-based jailbreaking technique which reliably promotes low-ranked products. Importantly, these attacks transfer effectively to state-of-the-art conversational search engines such as perplexity$.$ai. Given the strong financial incentive for website owners to boost their search ranking, we argue that our problem formulation is of critical importance for future robustness work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google