SeSaMe: A Framework to Simulate Self-Reported Ground Truth for Mental Health Sensing Studies

要約

モバイルおよびウェアラブル技術の進歩により、人の精神的、行動的、感情的健康を受動的に監視できる可能性が可能になりました。
これらのアプローチは通常、機械学習 (ML) モデルをトレーニングするために、うつ病、ストレス、不安などの自己報告結果の長期的な収集に依存しています。
しかし、継続的に自己申告する必要があるため、参加者に大きな負担がかかり、多くの場合、減少、ラベルの欠落、または不誠実な対応が発生します。
この研究では、デジタル メンタルヘルス研究における参加者の負担を軽減するために、メンタル モデルを使用したスケール スコア シミュレーション (SeSaMe) フレームワークを導入します。
SeSaMe は、事前トレーニングされた大規模言語モデル (LLM) を活用することで、参加者の反応を心理的スケールでシミュレーションできるようにします。
SeSaMe では、研究者は LLM に参加者の内部行動的性質に関する情報を提供するよう促すことができ、LLM が参加者のメンタル モデルを構築して、参加者の反応を心理的スケールでシミュレートできるようになります。
ここでは、GPT-4 を使用して、別のスケールからの応答を行動情報として使用して、あるスケールで応答をシミュレートする SeSaMe のアプリケーションを示します。
また、心理スケールに対する人間の反応と SeSaMe でシミュレートされた反応の間の整合性も評価します。
次に、以前の研究で確立されたうつ病と不安のスクリーニング タスクを再現することにより、ML モデルのトレーニングにおけるグラウンド トゥルースとして SeSaMe でシミュレートされた応答の有用性を検査する実験を紹介します。
私たちの結果は、SeSaMe が有望なアプローチであることを示していますが、その整合性は規模や特定の予測目標によって異なる可能性があります。
また、ほとんどの評価シナリオで、シミュレートされたデータを使用したモデルのパフォーマンスが、トレーニングに実際のデータを使用した場合と同等であることも観察されました。
最後に、パッシブ センシング研究におけるグラウンド トゥルースの収集に関して研究者が直面するいくつかの課題に対処する際の SeSaMe の潜在的な影響について説明します。

要約(オリジナル)

Advances in mobile and wearable technologies have enabled the potential to passively monitor a person’s mental, behavioral, and affective health. These approaches typically rely on longitudinal collection of self-reported outcomes, e.g., depression, stress, and anxiety, to train machine learning (ML) models. However, the need to continuously self-report adds a significant burden on the participants, often resulting in attrition, missing labels, or insincere responses. In this work, we introduce the Scale Scores Simulation using Mental Models (SeSaMe) framework to alleviate participants’ burden in digital mental health studies. By leveraging pre-trained large language models (LLMs), SeSaMe enables the simulation of participants’ responses on psychological scales. In SeSaMe, researchers can prompt LLMs with information on participants’ internal behavioral dispositions, enabling LLMs to construct mental models of participants to simulate their responses on psychological scales. We demonstrate an application of SeSaMe, where we use GPT-4 to simulate responses on one scale using responses from another as behavioral information. We also evaluate the alignment between human and SeSaMe-simulated responses to psychological scales. Then, we present experiments to inspect the utility of SeSaMe-simulated responses as ground truth in training ML models by replicating established depression and anxiety screening tasks from a previous study. Our results indicate SeSaMe to be a promising approach, but its alignment may vary across scales and specific prediction objectives. We also observed that model performance with simulated data was on par with using the real data for training in most evaluation scenarios. We conclude by discussing the potential implications of SeSaMe in addressing some challenges researchers face with ground-truth collection in passive sensing studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google