The Last JITAI? The Unreasonable Effectiveness of Large Language Models in Issuing Just-in-Time Adaptive Interventions: Fostering Physical Activity in a Prospective Cardiac Rehabilitation Setting

要約

私たちは、デジタルヘルスにおけるジャストインタイム適応介入 (JITAI) のコンテンツをトリガーおよびパーソナライズするための大規模言語モデル (LLM) の実現可能性を調査しました。
JITAI は、個人の現在の状況やニーズに介入を適応させ、持続可能な行動変容のための重要なメカニズムとして研究されています。
しかし、JITAI実装のための従来のルールベースの機械学習モデルは、パーソナライゼーションの欠如、マルチパラメトリックシステムの管理の難しさ、データの希薄性の問題など、スケーラビリティと信頼性の制限に直面しています。
LLM を介した JITAI の実装を調査するために、外来心臓リハビリテーションで心臓の健康に良い身体活動を促進するユースケースに基づいた例を使用して、現代の全体的なパフォーマンスをリードするモデル「GPT-4」をテストしました。
3 つのペルソナと、各ペルソナごとに 5 セットのコンテキスト情報が、JITAI のトリガーとパーソナライズの基礎として使用されました。
その後、合計 450 件の JITAI 提案案とメッセージ コンテンツを生成しました。これらは、GPT-4 による 10 回の反復によって生成された JITAI、10 人の一般人 (LayP) によって提供されたベースライン、および 10 人の医療従事者 (HCP) によって設定されたゴールド スタンダードに均等に分割されました。
。
27 人の LayP からの評価では、GPT-4 によって生成された JITAI が、適切性、関与、有効性、専門性など、すべての評価尺度において HCP や LayP による JITAI よりも優れていることが示されました。
この研究は、LLM がパーソナライズされた健康状態または「精密な」健康状態の構成要素として JITAI を実装し、スケーラビリティ、便宜的にサンプリングされた情報に基づく効果的なパーソナライゼーション、および良好な受け入れ可能性を提供する大きな可能性を秘めていることを示しています。

要約(オリジナル)

We explored the viability of Large Language Models (LLMs) for triggering and personalizing content for Just-in-Time Adaptive Interventions (JITAIs) in digital health. JITAIs are being explored as a key mechanism for sustainable behavior change, adapting interventions to an individual’s current context and needs. However, traditional rule-based and machine learning models for JITAI implementation face scalability and reliability limitations, such as lack of personalization, difficulty in managing multi-parametric systems, and issues with data sparsity. To investigate JITAI implementation via LLMs, we tested the contemporary overall performance-leading model ‘GPT-4’ with examples grounded in the use case of fostering heart-healthy physical activity in outpatient cardiac rehabilitation. Three personas and five sets of context information per persona were used as a basis of triggering and personalizing JITAIs. Subsequently, we generated a total of 450 proposed JITAI decisions and message content, divided equally into JITAIs generated by 10 iterations with GPT-4, a baseline provided by 10 laypersons (LayPs), and a gold standard set by 10 healthcare professionals (HCPs). Ratings from 27 LayPs indicated that JITAIs generated by GPT-4 were superior to those by HCPs and LayPs over all assessed scales: i.e., appropriateness, engagement, effectiveness, and professionality. This study indicates that LLMs have significant potential for implementing JITAIs as a building block of personalized or ‘precision’ health, offering scalability, effective personalization based on opportunistically sampled information, and good acceptability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google