Measuring and identifying factors of individuals’ trust in Large Language Models

要約

大規模な言語モデル（LLM）は、人間のように見える会話交換に従事することができます。
会話はユーザーとLLMの間で信頼を引き出すことができますが、希少な経験的研究は、LLMの信頼性または一般的なAIに対する人間の信頼を超えて、人間とLMの文脈における信頼の形成を調査しました。
ここでは、LLMSに対する個人の信頼を測定する新しいフレームワークとして、Trust-in-llmsインデックス（Tillmi）を紹介し、McAllisterの認知的および感情的な信頼の側面をLLMと人間の相互作用に拡張します。
ティルミを心理測定スケールとして開発し、LLMシミュレーション妥当性と呼ばれる新しいプロトコルでプロトタイプを付けました。
LLMベースのスケールは、1,000人の米国の回答者のサンプルで検証されました。
探索的因子分析により、2因子構造が特定されました。
次に、冗長性のために2つの項目が削除され、2因子構造の最終的な6項目スケールが得られました。
別のサブサンプルでの確認因子分析は、強いモデル適合を示しました（$ cfi = .995 $、$ tli = .991 $、$ rmsea = .046 $、$ p_ {x^2}> .05 $）。
収束妥当性分析により、LLMSへの信頼は、経験、外向性、および認知的柔軟性への開放性と正の相関があるが、神経症と否定的であることが明らかになりました。
これらの調査結果に基づいて、ティルミの要因を「LLMSとの親密さ」（感情的な次元）および「LLMSへの依存」（認知次元）と解釈しました。
若い男性は、年配の女性と比較してLLMに依存していると依存していました。
LLMSの直接的な経験のない個人は、LLMSのユーザーと比較してより低いレベルの信頼を示しました。
これらの調査結果は、AI主導の言葉によるコミュニケーションに対する信頼を測定し、責任あるデザインを通知し、バランスのとれた人間とのコラボレーションを促進するための新しい経験的基盤を提供します。

要約(オリジナル)

Large Language Models (LLMs) can engage in human-looking conversational exchanges. Although conversations can elicit trust between users and LLMs, scarce empirical research has examined trust formation in human-LLM contexts, beyond LLMs’ trustworthiness or human trust in AI in general. Here, we introduce the Trust-In-LLMs Index (TILLMI) as a new framework to measure individuals’ trust in LLMs, extending McAllister’s cognitive and affective trust dimensions to LLM-human interactions. We developed TILLMI as a psychometric scale, prototyped with a novel protocol we called LLM-simulated validity. The LLM-based scale was then validated in a sample of 1,000 US respondents. Exploratory Factor Analysis identified a two-factor structure. Two items were then removed due to redundancy, yielding a final 6-item scale with a 2-factor structure. Confirmatory Factor Analysis on a separate subsample showed strong model fit ($CFI = .995$, $TLI = .991$, $RMSEA = .046$, $p_{X^2} > .05$). Convergent validity analysis revealed that trust in LLMs correlated positively with openness to experience, extraversion, and cognitive flexibility, but negatively with neuroticism. Based on these findings, we interpreted TILLMI’s factors as ‘closeness with LLMs’ (affective dimension) and ‘reliance on LLMs’ (cognitive dimension). Younger males exhibited higher closeness with- and reliance on LLMs compared to older women. Individuals with no direct experience with LLMs exhibited lower levels of trust compared to LLMs’ users. These findings offer a novel empirical foundation for measuring trust in AI-driven verbal communication, informing responsible design, and fostering balanced human-AI collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google