Purrfessor: A Fine-tuned Multimodal LLaVA Diet Health Chatbot

要約

この研究では、インタラクティブでマルチモーダルなエンゲージメントを通じてパーソナライズされた食事指導を提供するように設計された革新的な AI チャットボットである Purrfessor を紹介します。
Purrfessor は、食品および栄養データと人間参加型アプローチで微調整された Large Language-and-Vision Assistant (LLaVA) モデルを活用し、視覚的な食事分析と状況に応じたアドバイスを統合して、ユーザー エクスペリエンスとエンゲージメントを強化します。
私たちは、チャットボットのパフォーマンスとユーザー エクスペリエンスを評価するために 2 つの調査を実施しました。(a) シミュレーション評価と人間による検証は、微調整されたモデルのパフォーマンスを調べるために実施されました。
(b) 2 (プロファイル: ボット対ペット) × 3 (モデル: GPT-4 対 LLaVA 対 微調整 LLaVA) の実験により、Purrfessor がユーザーのケアに対する認識を大幅に強化したことが明らかになりました ($\beta = 1.59$、
GPT-4 ボットと比較した $p = 0.04$) と利息 ($\beta = 2.26$、$p = 0.01$)。
さらに、ユーザーインタビューでは、インタラクションデザインの詳細の重要性が強調され、ユーザーエンゲージメントを向上させるための応答性、パーソナライゼーション、ガイダンスの必要性が強調されました。

要約(オリジナル)

This study introduces Purrfessor, an innovative AI chatbot designed to provide personalized dietary guidance through interactive, multimodal engagement. Leveraging the Large Language-and-Vision Assistant (LLaVA) model fine-tuned with food and nutrition data and a human-in-the-loop approach, Purrfessor integrates visual meal analysis with contextual advice to enhance user experience and engagement. We conducted two studies to evaluate the chatbot’s performance and user experience: (a) simulation assessments and human validation were conducted to examine the performance of the fine-tuned model; (b) a 2 (Profile: Bot vs. Pet) by 3 (Model: GPT-4 vs. LLaVA vs. Fine-tuned LLaVA) experiment revealed that Purrfessor significantly enhanced users’ perceptions of care ($\beta = 1.59$, $p = 0.04$) and interest ($\beta = 2.26$, $p = 0.01$) compared to the GPT-4 bot. Additionally, user interviews highlighted the importance of interaction design details, emphasizing the need for responsiveness, personalization, and guidance to improve user engagement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google