Generative Echo Chamber? Effects of LLM-Powered Search Systems on Diverse Information Seeking

要約

大規模言語モデル (LLM) を利用した会話型検索システムは、すでに何億人もの人々に使用されており、従来の検索に比べて多くの利点をもたらすと考えられています。
しかし、数十年にわたる研究と公の議論により、選択的露出が増加し、エコー チェンバーが発生し、多様な意見への露出が制限され、意見の二極化につながるという検索システムのリスクが疑問視されている一方で、LLM を利用した会話型検索のそのようなリスクについてはほとんど知られていません。
私たちは次の 2 つの実験を行って調査します。1) LLM を利用した会話検索が従来の検索と比較して選択的露出を増加させるかどうか、またどのように増加させるか。
2) ユーザーの見解を強化したり異議を唱えたりする意見バイアスを持つ LLM が効果を変えるかどうか、またどのように変化するか。
全体として、参加者は LLM を利用した会話型検索を使用して、より偏った情報のクエリに参加しており、自分の意見を強化する独断的な LLM がこの偏りを悪化させていることがわかりました。
これらの結果は、LLM と会話型検索システムの開発、およびこれらのテクノロジーを管理するポリシーに重大な意味を与えます。

要約(オリジナル)

Large language models (LLMs) powered conversational search systems have already been used by hundreds of millions of people, and are believed to bring many benefits over conventional search. However, while decades of research and public discourse interrogated the risk of search systems in increasing selective exposure and creating echo chambers — limiting exposure to diverse opinions and leading to opinion polarization, little is known about such a risk of LLM-powered conversational search. We conduct two experiments to investigate: 1) whether and how LLM-powered conversational search increases selective exposure compared to conventional search; 2) whether and how LLMs with opinion biases that either reinforce or challenge the user’s view change the effect. Overall, we found that participants engaged in more biased information querying with LLM-powered conversational search, and an opinionated LLM reinforcing their views exacerbated this bias. These results present critical implications for the development of LLMs and conversational search systems, and the policy governing these technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google