How Easily do Irrelevant Inputs Skew the Responses of Large Language Models?

要約

大規模言語モデル (LLM) は、外部知識データベースからの情報の取得を活用することで、多くの知識集約型タスクを実行するための強化された機能を示します。
ただし、現在の検索システムには固有の欠陥があるため、上位にランク付けされたパッセージを検索する中に無関係な情報が存在する可能性があります。
この研究では、さまざまな条件下で、さまざまな種類の無関係な情報に対する LLM の堅牢性に関する包括的な調査を紹介します。
まず、意味的に無関係、部分的に関連している、質問に関連しているなど、高品質の無関係な情報を構築するためのフレームワークを導入します。
さらに、私たちの分析は、構築された無関係な情報が類似性メトリクスで高いスコアを獲得し、既存のシステムによって高度に取得されるだけでなく、コンテキストとの意味的なつながりも持っていることを示しています。
私たちの調査により、現在の LLM は意味的に関連性の高い情報を識別するという課題に依然として直面しており、これらの無関係ではあるが誤解を招くコンテンツに簡単に気が散ってしまう可能性があることが明らかになりました。
さらに、無関係な情報を処理するための現在のソリューションには、そのような気を散らすものに対する LLM の堅牢性を向上させるのに限界があることもわかりました。
すべてのリソースは、GitHub (https://github.com/Di-viner/LLM-Robustness-to-Irrelevant-Information) で入手できます。

要約(オリジナル)

By leveraging the retrieval of information from external knowledge databases, Large Language Models (LLMs) exhibit enhanced capabilities for accomplishing many knowledge-intensive tasks. However, due to the inherent flaws of current retrieval systems, there might exist irrelevant information within those retrieving top-ranked passages. In this work, we present a comprehensive investigation into the robustness of LLMs to different types of irrelevant information under various conditions. We initially introduce a framework to construct high-quality irrelevant information that ranges from semantically unrelated, partially related, and related to questions. Furthermore, our analysis demonstrates that the constructed irrelevant information not only scores highly on similarity metrics, being highly retrieved by existing systems, but also bears semantic connections to the context. Our investigation reveals that current LLMs still face challenges in discriminating highly semantically related information and can be easily distracted by these irrelevant yet misleading content. Besides, we also find that current solutions for handling irrelevant information have limitations in improving the robustness of LLMs to such distractions. All the resources are available on GitHub at https://github.com/Di-viner/LLM-Robustness-to-Irrelevant-Information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google