Sleepless Nights, Sugary Days: Creating Synthetic Users with Health Conditions for Realistic Coaching Agent Interactions

要約

健康やライフスタイルのコーチングなど、肯定的な行動の変化を促進するように設計されたインタラクティブなエージェントを評価するための合成ユーザーを生成するためのエンドツーエンドのフレームワークを提示します。
合成ユーザーは、健康コーチングエージェントとの現実的な相互作用を確保するために、この研究では、健康とライフスタイルの条件、特に睡眠と糖尿病の管理に基づいています。
合成ユーザーは2つの段階で作成されます。まず、構造化されたデータは、基本的な人口統計と行動属性に加えて、実際の健康とライフスタイルの要因に基づいて生成されます。
第二に、合成ユーザーの完全なプロファイルは、構造化されたデータに条件付けられて開発されます。
合成ユーザーとコーチングエージェント間の相互作用は、コンコルディアなどの生成エージェントベースのモデルを使用して、または言語モデルを促すことによりシミュレートされます。
睡眠と糖尿病のコーチングのために2人の独立したエージェントをケーススタディとして使用して、このフレームワークの妥当性は、合成ユーザーのニーズと課題に関するコーチングエージェントの理解を分析することにより実証されています。
最後に、人間の専門家によるユーザーコーチの相互作用の複数の盲目的な評価を通じて、健康と行動の属性を持つ合成ユーザーが、そのような属性に基づいていない一般的な合成ユーザーと比較して、同じ属性を持つ本物の人間のユーザーをより正確に描写することを実証します。
提案されたフレームワークは、広範で現実的で根拠のあるシミュレーションされた相互作用を通じて、会話エージェントの効率的な開発の基盤を築きます。

要約(オリジナル)

We present an end-to-end framework for generating synthetic users for evaluating interactive agents designed to encourage positive behavior changes, such as in health and lifestyle coaching. The synthetic users are grounded in health and lifestyle conditions, specifically sleep and diabetes management in this study, to ensure realistic interactions with the health coaching agent. Synthetic users are created in two stages: first, structured data are generated grounded in real-world health and lifestyle factors in addition to basic demographics and behavioral attributes; second, full profiles of the synthetic users are developed conditioned on the structured data. Interactions between synthetic users and the coaching agent are simulated using generative agent-based models such as Concordia, or directly by prompting a language model. Using two independently-developed agents for sleep and diabetes coaching as case studies, the validity of this framework is demonstrated by analyzing the coaching agent’s understanding of the synthetic users’ needs and challenges. Finally, through multiple blinded evaluations of user-coach interactions by human experts, we demonstrate that our synthetic users with health and behavioral attributes more accurately portray real human users with the same attributes, compared to generic synthetic users not grounded in such attributes. The proposed framework lays the foundation for efficient development of conversational agents through extensive, realistic, and grounded simulated interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google