Citations and Trust in LLM Generated Responses

要約

質問応答システムは急速に進歩しているが、その不透明な性質はユーザーの信頼に影響を与える可能性がある。私たちは、アンチモニタリングのフレームワークを通じて信頼性を調査し、信頼性は引用の存在と相関し、引用のチェックと反比例すると予測した。この仮説を、ライブの質問応答実験で検証した。この実験では、市販のチャットボットを使って生成されたテキスト回答を、関連性のあるものとランダムなものの両方、さまざまな引用（0、1、5）とともに提示し、参加者が引用をチェックしたかどうか、および生成された回答に対する信頼の自己申告を記録した。その結果、引用が存在すると信頼が有意に増加することがわかり、この結果は引用がランダムな場合でも当てはまった。これらの結果は、AIが生成したコンテンツに対する信頼を高める上で引用が重要であることを強調している。

要約(オリジナル)

Question answering systems are rapidly advancing, but their opaque nature may impact user trust. We explored trust through an anti-monitoring framework, where trust is predicted to be correlated with presence of citations and inversely related to checking citations. We tested this hypothesis with a live question-answering experiment that presented text responses generated using a commercial Chatbot along with varying citations (zero, one, or five), both relevant and random, and recorded if participants checked the citations and their self-reported trust in the generated responses. We found a significant increase in trust when citations were present, a result that held true even when the citations were random; we also found a significant decrease in trust when participants checked the citations. These results highlight the importance of citations in enhancing trust in AI-generated content.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL