The Rising Threat to Emerging AI-Powered Search Engines

要約

大規模な言語モデル（LLMS）の最近の進歩により、AI搭載の検索エンジン（AIPS）の機能が大幅に向上し、外部データベースに既存の知識を統合することにより、正確で効率的な応答を提供します。
ただし、これらのAIPSは、悪意のあるコンテンツを引用したり、悪意のあるWebサイトを引用したりするなどのリスクを引き起こし、有害または未検証の情報普及につながることがわかります。
この研究では、脅威モデル、リスクレベル、さまざまなクエリタイプへの応答を体系的に定義することにより、7つの生産AIPSESで最初の安全リスクの定量化を実施します。
Phishtank、Threatbook、およびLevelblueから収集されたデータにより、AIPSは良性クエリ（例えば、良性キーワードを使用するなど）でさえ、悪意のあるURLを含む有害なコンテンツを頻繁に生成することが頻繁に生成されます。
また、直接クエリURLがリスクレベルを上げ、自然言語でクエリがそのようなリスクを軽減することも観察します。
さらに、オンラインドキュメントスプーフィングとフィッシングに関する2つのケーススタディを実行して、実際の設定でAIPSを欺く容易さを示します。
これらのリスクを緩和するために、GPT-4Oベースのコンテンツ改良ツールとXGBoostベースのURL検出器を使用して、エージェントベースの防御を開発します。
私たちの評価は、私たちの防衛がリスクを効果的に減らすことができるが、利用可能な情報を削減するコストであることを示しています。
私たちの研究は、AIPSの堅牢な安全対策に対する緊急の必要性を強調しています。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have significantly enhanced the capabilities of AI-Powered Search Engines (AIPSEs), offering precise and efficient responses by integrating external databases with pre-existing knowledge. However, we observe that these AIPSEs raise risks such as quoting malicious content or citing malicious websites, leading to harmful or unverified information dissemination. In this study, we conduct the first safety risk quantification on seven production AIPSEs by systematically defining the threat model, risk level, and evaluating responses to various query types. With data collected from PhishTank, ThreatBook, and LevelBlue, our findings reveal that AIPSEs frequently generate harmful content that contains malicious URLs even with benign queries (e.g., with benign keywords). We also observe that directly query URL will increase the risk level while query with natural language will mitigate such risk. We further perform two case studies on online document spoofing and phishing to show the ease of deceiving AIPSEs in the real-world setting. To mitigate these risks, we develop an agent-based defense with a GPT-4o-based content refinement tool and an XGBoost-based URL detector. Our evaluation shows that our defense can effectively reduce the risk but with the cost of reducing available information. Our research highlights the urgent need for robust safety measures in AIPSEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google