Catch Me if You Search: When Contextual Web Search Results Affect the Detection of Hallucinations

要約

さまざまなタスクについて大規模な言語モデル（LLM）にますます依存していますが、これらのモデルは不正確なコンテンツまたは「幻覚」を生成することが知られています。
Web検索結果をLLMSに最近統合すると、人々がそれらを利用して生成されたコンテンツを検証し、それにより幻覚を正確に検出するかどうかという問題が促されます。
オンライン実験（n = 560）は、静的（つまり、LLMが提供する固定検索結果）または動的（つまり、参加者主導の検索）のいずれかの検索結果の提供が、LLM生成コンテンツの知覚された精度（すなわち、本物、マイナーな幻、主要な幻覚）、「主要な評価）、自己信頼性と同様に、自己信頼性と同様の自己信頼性にどのように影響するかを調査したことを調査しました。
条件（つまり、検索結果なし）。
結果は、静的条件と動的条件（対照）の両方の参加者が、幻覚コンテンツをより正確ではなく、LLMをより否定的に認識していると評価したことを示しました。
ただし、動的な条件の人々は、本物のコンテンツをより正確であると評価し、静的検索条件や制御条件のものよりも評価における全体的な自信を高めました。
実際のコンテキストでWeb検索機能をLLMに組み込むことの実際的な意味を強調しました。

要約(オリジナル)

While we increasingly rely on large language models (LLMs) for various tasks, these models are known to produce inaccurate content or `hallucinations’ with potentially disastrous consequences. The recent integration of web search results into LLMs prompts the question of whether people utilize them to verify the generated content, thereby accurately detecting hallucinations. An online experiment (N = 560) investigated how the provision of search results, either static (i.e., fixed search results provided by LLM) or dynamic (i.e., participant-led searches), affects participants’ perceived accuracy of LLM-generated content (i.e., genuine, minor hallucination, major hallucination), self-confidence in accuracy ratings, as well as their overall evaluation of the LLM, as compared to the control condition (i.e., no search results). Results showed that participants in both static and dynamic conditions (vs. control) rated hallucinated content to be less accurate and perceived the LLM more negatively. However, those in the dynamic condition rated genuine content as more accurate and demonstrated greater overall self-confidence in their assessments than those in the static search or control conditions. We highlighted practical implications of incorporating web search functionality into LLMs in real-world contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google