The Last JITAI? The Unreasonable Effectiveness of Large Language Models in Issuing Just-in-Time Adaptive Interventions: Fostering Physical Activity in a Prospective Cardiac Rehabilitation Setting

要約

私たちは、デジタルヘルスにおけるジャストインタイム適応介入 (JITAI) のコンテンツのトリガーとパーソナライズに大規模言語モデル (LLM) を使用することの実現可能性を調査しました。
JITAI は、個人の現在の状況やニーズに介入を適応させ、持続可能な行動変容のための重要なメカニズムとして研究されています。
しかし、JITAI実装のための従来のルールベースの機械学習モデルは、パーソナライゼーションの欠如、マルチパラメトリックシステムの管理の難しさ、データの希薄性の問題など、スケーラビリティと柔軟性の制限に直面しています。
LLM を介した JITAI の実装を調査するために、外来心臓リハビリテーションで心臓の健康に良い身体活動を促進するユースケースに基づいた例を使用して、現代の全体的なパフォーマンスをリードするモデル「GPT-4」をテストしました。
3 つのペルソナと、各ペルソナごとに 5 セットのコンテキスト情報が、JITAI のトリガーとパーソナライズの基礎として使用されました。
その後、合計 450 件の JITAI 提案案とメッセージ コンテンツを生成しました。これらは、GPT-4 による 10 回の反復によって生成された JITAI、10 人の一般人 (LayP) によって提供されたベースライン、および 10 人の医療従事者 (HCP) によって設定されたゴールド スタンダードに均等に分割されました。
。
27 人の信徒と 11 人の医療従事者からの評価は、GPT-4 によって生成された JITAI が、すべての評価尺度 (適切さ、関与、有効性、専門性) において医療従事者や医療従事者によるものよりも優れていることを示しました。
この研究は、LLM がパーソナライズされた健康状態または「精密な」健康状態の構成要素として JITAI を実装し、スケーラビリティ、便宜的にサンプリングされた情報に基づく効果的なパーソナライゼーション、および良好な受け入れ可能性を提供する大きな可能性を秘めていることを示しています。

要約(オリジナル)

We investigated the viability of using Large Language Models (LLMs) for triggering and personalizing content for Just-in-Time Adaptive Interventions (JITAIs) in digital health. JITAIs are being explored as a key mechanism for sustainable behavior change, adapting interventions to an individual’s current context and needs. However, traditional rule-based and machine learning models for JITAI implementation face scalability and flexibility limitations, such as lack of personalization, difficulty in managing multi-parametric systems, and issues with data sparsity. To investigate JITAI implementation via LLMs, we tested the contemporary overall performance-leading model ‘GPT-4’ with examples grounded in the use case of fostering heart-healthy physical activity in outpatient cardiac rehabilitation. Three personas and five sets of context information per persona were used as a basis of triggering and personalizing JITAIs. Subsequently, we generated a total of 450 proposed JITAI decisions and message content, divided equally into JITAIs generated by 10 iterations with GPT-4, a baseline provided by 10 laypersons (LayPs), and a gold standard set by 10 healthcare professionals (HCPs). Ratings from 27 LayPs and 11 HCPs indicated that JITAIs generated by GPT-4 were superior to those by HCPs and LayPs over all assessed scales: i.e., appropriateness, engagement, effectiveness, and professionality. This study indicates that LLMs have significant potential for implementing JITAIs as a building block of personalized or ‘precision’ health, offering scalability, effective personalization based on opportunistically sampled information, and good acceptability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google