Can Language Models Understand Social Behavior in Clinical Conversations?

要約

プロバイダーとその患者間の効果的なコミュニケーションは、健康とケアの結果に影響します。
このような会話の有効性は、臨床情報の交換だけでなく、さまざまな対人行動にもリンクされています。
一般に社会的信号と呼ばれ、それはしばしば非言語的手がかりを通して伝えられ、患者プロバイダーの関係の質を形作ります。
大規模な言語モデル（LLMS）の最近の進歩は、テキスト情報のみを分析する場合でも、感情的および社会的行動を推測する能力の増加を実証しています。
患者プロバイダーの会話の転写など、臨床環境でも自動化が増加するにつれて、LLMがこれらの相互作用から社会的行動を自動的に分析および抽出する可能性が高まっています。
臨床対話で社会的信号を追跡する際にLLMSの基礎能力を調査するために、タスク固有のプロンプトを設計し、複数のアーキテクチャにわたってモデルパフォーマンスを評価し、プロバイダーの支配、患者の温かさなどの20の異なるソーシャルシグナルにまたがる非常に不均衡な注釈付きデータセットを使用してスタイルをプロンプトしました。
モデル構成と臨床コンテキストのさらなる分析により、ヘルスケア設定での社会的信号処理タスクのLLMパフォーマンスを向上させるための洞察が得られます。

要約(オリジナル)

Effective communication between providers and their patients influences health and care outcomes. The effectiveness of such conversations has been linked not only to the exchange of clinical information, but also to a range of interpersonal behaviors; commonly referred to as social signals, which are often conveyed through non-verbal cues and shape the quality of the patient-provider relationship. Recent advances in large language models (LLMs) have demonstrated an increasing ability to infer emotional and social behaviors even when analyzing only textual information. As automation increases also in clinical settings, such as for transcription of patient-provider conversations, there is growing potential for LLMs to automatically analyze and extract social behaviors from these interactions. To explore the foundational capabilities of LLMs in tracking social signals in clinical dialogue, we designed task-specific prompts and evaluated model performance across multiple architectures and prompting styles using a highly imbalanced, annotated dataset spanning 20 distinct social signals such as provider dominance, patient warmth, etc. We present the first system capable of tracking all these 20 coded signals, and uncover patterns in LLM behavior. Further analysis of model configurations and clinical context provides insights for enhancing LLM performance on social signal processing tasks in healthcare settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google