Habit Coach: Customising RAG-based chatbots to support behavior change

要約

このペーパーでは、パーソナライズされた対話を通じてユーザーの習慣変更をサポートするように設計された GPT ベースのチャットボットである Habit Coach の反復開発について説明します。
ユーザー中心の設計アプローチを採用し、検索拡張生成 (RAG) システムを使用してチャットボットを開発しました。これにより、基礎となる言語モデル (GPT-4) を再トレーニングすることなく、行動のパーソナライゼーションが可能になります。
このシステムは、文書検索と特殊なプロンプトを利用して、認知行動療法 (CBT) とナラティブ セラピーの手法を活用して、インタラクションを調整します。
開発プロセスにおける主な課題は、宣言的な知識を効果的なインタラクション動作に変換することが難しいことでした。
初期段階では、チャットボットには、参考教科書と高レベルの会話目標を通じて、CBT に関する宣言的な知識が提供されました。
ただし、このアプローチでは、GPT モデルが静的な情報を動的でコンテキストに適した相互作用に変換するのに苦労したため、不正確で非効率的な動作が発生しました。
これは、特に微妙な治療上の会話において、チャットボットの動作をガイドするために宣言的な知識のみに依存することの限界を浮き彫りにしました。
4 回の反復にわたって、私たちは手順的な知識に徐々に移行し、チャットボットの対話戦略を洗練し、全体的な有効性を向上させることで、この問題に対処しました。
最終評価では、5 人の参加者が連続 5 日間にわたってチャットボットを使用し、個別の CBT 介入を受けました。
自己報告習慣指数（SRHI）を使用して介入前後の習慣の強さを測定したところ、介入後の習慣の強さの低下が明らかになりました。
これらの結果は、RAG ベースのシステムで効果的でパーソナライズされた行動変更サポートを推進する際の手順知識の重要性を強調しています。

要約(オリジナル)

This paper presents the iterative development of Habit Coach, a GPT-based chatbot designed to support users in habit change through personalized interaction. Employing a user-centered design approach, we developed the chatbot using a Retrieval-Augmented Generation (RAG) system, which enables behavior personalization without retraining the underlying language model (GPT-4). The system leverages document retrieval and specialized prompts to tailor interactions, drawing from Cognitive Behavioral Therapy (CBT) and narrative therapy techniques. A key challenge in the development process was the difficulty of translating declarative knowledge into effective interaction behaviors. In the initial phase, the chatbot was provided with declarative knowledge about CBT via reference textbooks and high-level conversational goals. However, this approach resulted in imprecise and inefficient behavior, as the GPT model struggled to convert static information into dynamic and contextually appropriate interactions. This highlighted the limitations of relying solely on declarative knowledge to guide chatbot behavior, particularly in nuanced, therapeutic conversations. Over four iterations, we addressed this issue by gradually transitioning towards procedural knowledge, refining the chatbot’s interaction strategies, and improving its overall effectiveness. In the final evaluation, 5 participants engaged with the chatbot over five consecutive days, receiving individualized CBT interventions. The Self-Report Habit Index (SRHI) was used to measure habit strength before and after the intervention, revealing a reduction in habit strength post-intervention. These results underscore the importance of procedural knowledge in driving effective, personalized behavior change support in RAG-based systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google