Unlocking LLMs: Addressing Scarce Data and Bias Challenges in Mental Health

要約

大規模言語モデル (LLM) は医療分析において有望な機能を示していますが、幻覚、オウム返し、偏見の発現などのいくつかの課題に直面しています。
これらの課題は、複雑で機密性が高く、リソースが少ない領域ではさらに悪化します。
したがって、この研究では、LLM、特に ChatGPT を活用してコンテキスト内の会話対話を生成することによって、AnnoMI 上に構築された専門家による注釈付きの動機付け面接 (MI) データセットである IC-AnnoMI を紹介します。
IC-AnnoMI は、治療スタイル (共感、反省)、文脈の関連性、誤った意味の変更を考慮に入れて、合図とカスタマイズされた情報を通じて正確に設計されたターゲットを絞ったプロンプトを採用します。
その後、対話には専門家によって注釈が付けられ、動機づけ面接スキル コード (MISC) に厳密に従って、MI 対話の心理的側面と言語的側面の両方に焦点が当てられます。
いくつかの古典的な機械学習と現在の最先端のトランスフォーマーアプローチを使用して新しい分類タスクをモデル化することにより、IC-AnnoMIデータセットとChatGPTの感情的推論能力とドメインの複雑さの理解を包括的に評価します。
最後に、漸進的プロンプト戦略の効果と、IC-AnnoM に現れるバイアスを軽減するための拡張データの影響について説明します。
私たちの貢献は、MI コミュニティに包括的なデータセットを提供するだけでなく、監視付き設定での会話療法のための共感テキスト生成に LLM を使用するための貴重な洞察も提供します。

要約(オリジナル)

Large language models (LLMs) have shown promising capabilities in healthcare analysis but face several challenges like hallucinations, parroting, and bias manifestation. These challenges are exacerbated in complex, sensitive, and low-resource domains. Therefore, in this work we introduce IC-AnnoMI, an expert-annotated motivational interviewing (MI) dataset built upon AnnoMI by generating in-context conversational dialogues leveraging LLMs, particularly ChatGPT. IC-AnnoMI employs targeted prompts accurately engineered through cues and tailored information, taking into account therapy style (empathy, reflection), contextual relevance, and false semantic change. Subsequently, the dialogues are annotated by experts, strictly adhering to the Motivational Interviewing Skills Code (MISC), focusing on both the psychological and linguistic dimensions of MI dialogues. We comprehensively evaluate the IC-AnnoMI dataset and ChatGPT’s emotional reasoning ability and understanding of domain intricacies by modeling novel classification tasks employing several classical machine learning and current state-of-the-art transformer approaches. Finally, we discuss the effects of progressive prompting strategies and the impact of augmented data in mitigating the biases manifested in IC-AnnoM. Our contributions provide the MI community with not only a comprehensive dataset but also valuable insights for using LLMs in empathetic text generation for conversational therapy in supervised settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google