Dementia Through Different Eyes: Explainable Modeling of Human and LLM Perceptions for Early Awareness

要約

認知機能低下は、診断の数年前の言語の表面をしばしば表面化します。
患者に最も近い人のように、それはしばしば非専門家であり、最初に変化を感じ、懸念を引き起こす。
LLMが毎日のコミュニケーションに統合され、長期にわたって使用されると、何かがオフになっていることに気付くLLMでさえあるかもしれません。
しかし、その判断をするとき、彼らは正確に何を気づき、気づくべきですか？
このペーパーでは、認知症が言語を通じて言語を通してどのように知覚されるかを調査します。
非専門家とLLMSに転写された画像の説明を提示し、各テキストが健康な人によって生成されたのか、認知症で生成されたのかを直感的に判断するように依頼しました。
LLMSを使用して、これらの画像の説明を表す高レベルの専門家誘導機能を抽出する説明可能な方法を紹介し、ロジスティック回帰を使用して人間とLLMの認識をモデル化し、臨床診断と比較します。
私たちの分析は、認知症の人間の認識は一貫性がなく、狭い、時には誤解を招くようなキューに依存していることを明らかにしています。
対照的に、LLMSは、臨床パターンとより密接に整合する、より豊かで、より微妙な機能セットを描きます。
それでも、両方のグループは、認知症の症例を頻繁に見落とす誤ったネガの傾向を示しています。
私たちの解釈可能なフレームワークとそれが提供する洞察を通して、私たちは非専門家が重要な言語兆候をよりよく認識するのを助けることを望んでいます。

要約(オリジナル)

Cognitive decline often surfaces in language years before diagnosis. It is frequently non-experts, such as those closest to the patient, who first sense a change and raise concern. As LLMs become integrated into daily communication and used over prolonged periods, it may even be an LLM that notices something is off. But what exactly do they notice–and should be noticing–when making that judgment? This paper investigates how dementia is perceived through language by non-experts. We presented transcribed picture descriptions to non-expert humans and LLMs, asking them to intuitively judge whether each text was produced by someone healthy or with dementia. We introduce an explainable method that uses LLMs to extract high-level, expert-guided features representing these picture descriptions, and use logistic regression to model human and LLM perceptions and compare with clinical diagnoses. Our analysis reveals that human perception of dementia is inconsistent and relies on a narrow, and sometimes misleading, set of cues. LLMs, by contrast, draw on a richer, more nuanced feature set that aligns more closely with clinical patterns. Still, both groups show a tendency toward false negatives, frequently overlooking dementia cases. Through our interpretable framework and the insights it provides, we hope to help non-experts better recognize the linguistic signs that matter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google