Development and Evaluation of Three Chatbots for Postpartum Mood and Anxiety Disorders

要約

産後の気分障害や不安障害を持つ介護者をサポートすることに特化した非営利団体である Postpartum Support International (PSI) と協力して、ルールベースのモデルと生成モデルの両方を活用して、産後介護者に状況に応じた共感的なサポートを提供する 3 つのチャットボットを開発しました。
当社では、マシンベースの指標と人間ベースのアンケートの両方を使用して、チャットボットのパフォーマンスを提示および評価しています。
全体として、私たちのルールベースのモデルは最高のパフォーマンスを達成し、出力はグラウンドトゥルースの基準に近く、最高レベルの共感を含んでいます。
人間のユーザーは、コンテキスト固有で人間らしい応答が得られるため、生成型チャットボットよりもルールベースのチャットボットを好みます。
また、当社の生成型チャットボットは共感的な応答を生成し、人間のユーザーからは魅力的であると評価されました。
ただし、トレーニング データセットの制限により、混乱を招く、または意味不明な応答が生じることがよくあります。
最後に、メンタルヘルスの問題を持つ個人をサポートするための、ルールベースのモデルと生成モデルの実際的な利点について説明します。
ChatGPT と BARD の最近の急増を考慮して、デジタル メンタル ヘルスケアのための大規模な言語モデルの可能性と落とし穴についても説明します。

要約(オリジナル)

In collaboration with Postpartum Support International (PSI), a non-profit organization dedicated to supporting caregivers with postpartum mood and anxiety disorders, we developed three chatbots to provide context-specific empathetic support to postpartum caregivers, leveraging both rule-based and generative models. We present and evaluate the performance of our chatbots using both machine-based metrics and human-based questionnaires. Overall, our rule-based model achieves the best performance, with outputs that are close to ground truth reference and contain the highest levels of empathy. Human users prefer the rule-based chatbot over the generative chatbot for its context-specific and human-like replies. Our generative chatbot also produced empathetic responses and was described by human users as engaging. However, limitations in the training dataset often result in confusing or nonsensical responses. We conclude by discussing practical benefits of rule-based vs. generative models for supporting individuals with mental health challenges. In light of the recent surge of ChatGPT and BARD, we also discuss the possibilities and pitfalls of large language models for digital mental healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google