Comparing Large Language Model AI and Human-Generated Coaching Messages for Behavioral Weight Loss

要約

ウェイトコントロールのための自動コーチングメッセージは時間とコストを節約できますが、それらの繰り返しの一般的な性質は、人間のコーチングと比較して有効性を制限する可能性があります。
CHATGPTのような大手言語モデル（LLM）ベースの人工知能（AI）チャットボットは、データ処理能力で繰り返し対処するために、よりパーソナライズされた斬新なメッセージを提供できます。
LLM AIはより健康的なライフスタイルを奨励することを約束していますが、研究はLLMベースのBWLコーチングの実現可能性と受容性をまだ検討していません。
5ポイントのリッカートスケールを使用して、ウェイトロストライアルの87人の大人が10個のコーチングメッセージの有用性（5人の人間が書かれた、5人のChatGPTを生成した）を使用して評価し、評価を正当化するための追加のオープンエンドフィードバックを提供しました。
参加者はまた、どのメッセージがAIに生成されているかを特定しました。
評価は2つのフェーズで発生しました。フェーズ1のメッセージは非人格的および否定的であると認識され、フェーズ2メッセージの改訂を促します。
フェーズ1では、AIに生成されたメッセージは、人間が作成したメッセージよりも役立たないと評価され、66％が3以上の有用な評価を受けています。
ただし、フェーズ2では、AIメッセージは有用性に関して人間が書いたメッセージと一致し、82％は3以上のスコアを付けました。
さらに、50％が人間が書かれたものと誤認され、人間が生成したコンテンツを模倣する際のAIの洗練度を示唆しています。
自由回答形式のフィードバックのテーマ別分析により、参加者はAIの共感とパーソナライズされた提案を高く評価しているが、より定型的で、本物ではなく、データに焦点を当てていることがわかったことが明らかになりました。
この研究は、潜在的に効果的な体重制御コーチングメッセージの作成におけるChatGptのようなLLM AIの予備的な実現可能性と許容性を明らかにしています。
私たちの調査結果は、将来の強化の領域も強調しています。

要約(オリジナル)

Automated coaching messages for weight control can save time and costs, but their repetitive, generic nature may limit their effectiveness compared to human coaching. Large language model (LLM) based artificial intelligence (AI) chatbots, like ChatGPT, could offer more personalized and novel messages to address repetition with their data-processing abilities. While LLM AI demonstrates promise to encourage healthier lifestyles, studies have yet to examine the feasibility and acceptability of LLM-based BWL coaching. 87 adults in a weight-loss trial rated ten coaching messages’ helpfulness (five human-written, five ChatGPT-generated) using a 5-point Likert scale, providing additional open-ended feedback to justify their ratings. Participants also identified which messages they believed were AI-generated. The evaluation occurred in two phases: messages in Phase 1 were perceived as impersonal and negative, prompting revisions for Phase 2 messages. In Phase 1, AI-generated messages were rated less helpful than human-written ones, with 66 percent receiving a helpfulness rating of 3 or higher. However, in Phase 2, the AI messages matched the human-written ones regarding helpfulness, with 82% scoring three or above. Additionally, 50% were misidentified as human-written, suggesting AI’s sophistication in mimicking human-generated content. A thematic analysis of open-ended feedback revealed that participants appreciated AI’s empathy and personalized suggestions but found them more formulaic, less authentic, and too data-focused. This study reveals the preliminary feasibility and acceptability of LLM AIs, like ChatGPT, in crafting potentially effective weight control coaching messages. Our findings also underscore areas for future enhancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google