Why Would You Suggest That? Human Trust in Language Model Responses

要約

大規模言語モデル(LLM)の出現により、特に信頼と信用が最も重要な創造的意思決定シナリオにおいて、人間とAIとの協調の必要性が高まっていることが明らかになった。我々は、LaMPベンチマークの自由形式のニュース見出し生成タスクにおける人間研究とモデル評価を通じて、説明のフレーミングと存在がユーザーの信頼とモデルの性能にどのように影響するかを分析する。全体として、我々は、ユーザが様々な応答を比較する機会がある場合、その推論を正当化するためにモデル応答に説明を加えることが、モデルに対するユーザの自己申告による信頼を有意に増加させるという証拠を提供する。これらの説明の位置と忠実さも重要な要因である。しかし、このような効果は、ユーザーが回答を単独で見せられた場合には消失することから、人間は、欺瞞的な回答を含むすべてのモデル回答を、単独で見せられた場合には公平に信頼していることが示唆される。本研究で得られた知見は、人間と機械がチームを組むシステムにおける信頼の微妙な評価について、より深く掘り下げる今後の研究を促すものである。

要約(オリジナル)

The emergence of Large Language Models (LLMs) has revealed a growing need for human-AI collaboration, especially in creative decision-making scenarios where trust and reliance are paramount. Through human studies and model evaluations on the open-ended News Headline Generation task from the LaMP benchmark, we analyze how the framing and presence of explanations affect user trust and model performance. Overall, we provide evidence that adding an explanation in the model response to justify its reasoning significantly increases self-reported user trust in the model when the user has the opportunity to compare various responses. Position and faithfulness of these explanations are also important factors. However, these gains disappear when users are shown responses independently, suggesting that humans trust all model responses, including deceptive ones, equitably when they are shown in isolation. Our findings urge future research to delve deeper into the nuanced evaluation of trust in human-machine teaming systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL