The Earth is Flat because…: Investigating LLMs’ Belief towards Misinformation via Persuasive Conversation

要約

大規模言語モデル (LLM) には膨大な量の知識がカプセル化されていますが、依然として外部の誤った情報に対して脆弱なままです。
既存の研究では、主に単一ターン設定でのこの感受性挙動が研究されていました。
ただし、複数ターンにわたる会話、特に説得力のある会話の中で信念が変わる可能性があります。
したがって、この研究では、LLM の説得力のある会話、特に正しく答えられる事実に関する質問に対する感受性を詳しく調べます。
まず、事実に基づく質問と体系的に生成された説得力のある誤った情報を組み合わせたファーム (つまり、事実から誤解へ) データセットをキュレートします。
次に、説得力のある対話の中で LLM の信念の変化を追跡するためのテスト フレームワークを開発します。
広範な実験を通じて、事実知識に対するLLMの正しい信念は、さまざまな説得戦略によって簡単に操作できることがわかりました。

要約(オリジナル)

Large language models (LLMs) encapsulate vast amounts of knowledge but still remain vulnerable to external misinformation. Existing research mainly studied this susceptibility behavior in a single-turn setting. However, belief can change during a multi-turn conversation, especially a persuasive one. Therefore, in this study, we delve into LLMs’ susceptibility to persuasive conversations, particularly on factual questions that they can answer correctly. We first curate the Farm (i.e., Fact to Misinform) dataset, which contains factual questions paired with systematically generated persuasive misinformation. Then, we develop a testing framework to track LLMs’ belief changes in a persuasive dialogue. Through extensive experiments, we find that LLMs’ correct beliefs on factual knowledge can be easily manipulated by various persuasive strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google