Crafting Knowledge: Exploring the Creative Mechanisms of Chat-Based Search Engines

要約

デジタル情報の普及の分野では、検索エンジンは情報探索者とプロバイダーをつなぐ重要なパイプとして機能します。
Bing Chat に代表される、Large Language Model (LLM) と Retrieval Augmented Generation (RAG) を利用したチャットベースの検索エンジンの出現は、検索エコシステムにおける進化の飛躍を示しています。
彼らは、Web 情報を解釈し、人間のような理解力と創造力で応答を作成するメタ認知能力を示します。
それにもかかわらず、LLM の複雑な性質により、その「認知」プロセスが不透明になり、設計者の理解さえ困難になります。
この研究は、LLM を利用したチャットベースの検索エンジン、特に Bing Chat が応答用の情報ソースを選択するメカニズムを詳しく分析することを目的としています。
この目的を達成するために、New Bing との連携を通じて広範なデータセットが編集され、従来の検索エンジンによってリストされる Web サイトと並んで引用される Web サイトが文書化されています。
自然言語処理 (NLP) 技術を採用したこの研究では、Bing Chat が読みやすく形式的に構造化されたコンテンツを好むだけでなく、複雑さのレベルが低く、基礎となる LLM によって予測可能なテキストに対する独特の傾向を示していることが明らかになりました。
分析をさらに強化するために、GPT-4 ベースのナレッジ検索 API との対話を通じて追加のデータセットを取得し、RAG API と Bing Chat の間で一致するテキスト設定を明らかにしました。
このコンセンサスは、これらのテキスト設定は、Bing Chat の開発者によって明示的に作成されたものではなく、基礎となる言語モデルから本質的に現れることを示唆しています。
さらに、私たちの調査では、従来の検索エンジンで最も上位にランク付けされた Web サイトと比較して、RAG テクノロジーで引用された Web サイト間の類似性が高いことを示しています。

要約(オリジナル)

In the domain of digital information dissemination, search engines act as pivotal conduits linking information seekers with providers. The advent of chat-based search engines utilizing Large Language Models (LLMs) and Retrieval Augmented Generation (RAG), exemplified by Bing Chat, marks an evolutionary leap in the search ecosystem. They demonstrate metacognitive abilities in interpreting web information and crafting responses with human-like understanding and creativity. Nonetheless, the intricate nature of LLMs renders their ‘cognitive’ processes opaque, challenging even their designers’ understanding. This research aims to dissect the mechanisms through which an LLM-powered chat-based search engine, specifically Bing Chat, selects information sources for its responses. To this end, an extensive dataset has been compiled through engagements with New Bing, documenting the websites it cites alongside those listed by the conventional search engine. Employing natural language processing (NLP) techniques, the research reveals that Bing Chat exhibits a preference for content that is not only readable and formally structured, but also demonstrates lower perplexity levels, indicating a unique inclination towards text that is predictable by the underlying LLM. Further enriching our analysis, we procure an additional dataset through interactions with the GPT-4 based knowledge retrieval API, unveiling a congruent text preference between the RAG API and Bing Chat. This consensus suggests that these text preferences intrinsically emerge from the underlying language models, rather than being explicitly crafted by Bing Chat’s developers. Moreover, our investigation documents a greater similarity among websites cited by RAG technologies compared to those ranked highest by conventional search engines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google