VITA: A Multi-modal LLM-based System for Longitudinal, Autonomous, and Adaptive Robotic Mental Well-being Coaching

要約

最近、いくつかの研究で、ロボットコーチがさまざまな環境で精神的健康を促進し、維持できるかどうか、またどのようにして維持できるかについて調査が行われています。
しかし、これらの研究結果から、技術的な課題からコーチングの成功に至るまで、いくつかの制限があるため、これらのロボットコーチは現実世界の環境で使用および展開する準備ができていないことが明らかになりました。
これらの課題を克服するために、この論文では、ロボットコーチがコーチを受ける人のマルチモーダルな行動（顔の表情や発話の長さ）に自律的に適応し、メンタルヘルスを促進するためにコーチング演習を提供できる新しいマルチモーダルLLMベースのシステムであるVITAを紹介します。
-大人になっていること。
私たちは、最近の文献の課題に対応する 5 つの目標を特定し、さまざまなロボット コーチ構成のテストを可能にした 1 つの実験室パイロット研究 (N=4) を含む実験的検証を通じて、VITA システムがこれらの課題にどのように対処するかを示します。
-スクリプト化された汎用モデル、および適応モデル）を作成し、それを現実世界で使用するための設計に情報を提供します。また、職場で 4 週間にわたって実施された 1 つの現実世界の研究 (N=17) も行います。
私たちの結果は次のことを示しています: (i) コーチ受講者は、事前にスクリプト化されたものよりも VITA の適応型および一般的な設定を肯定的に認識し、適応型ロボット コーチによって理解され、聞いてもらっていると感じた、(ii) VITA 適応型ロボット コーチはパーソナライズすることで学習を成功させ続けた
(iii) VITA ベースのロボット コーチの実践により、コーチは精神的健康を大幅に改善しました。
VITA システムのコードは、https://github.com/Cambridge-AFAR/VITA-system からオープンに入手できます。

要約(オリジナル)

Recently, several works have explored if and how robotic coaches can promote and maintain mental well-being in different settings. However, findings from these studies revealed that these robotic coaches are not ready to be used and deployed in real-world settings due to several limitations that span from technological challenges to coaching success. To overcome these challenges, this paper presents VITA, a novel multi-modal LLM-based system that allows robotic coaches to autonomously adapt to the coachee’s multi-modal behaviours (facial valence and speech duration) and deliver coaching exercises in order to promote mental well-being in adults. We identified five objectives that correspond to the challenges in the recent literature, and we show how the VITA system addresses these via experimental validations that include one in-lab pilot study (N=4) that enabled us to test different robotic coach configurations (pre-scripted, generic, and adaptive models) and inform its design for using it in the real world, and one real-world study (N=17) conducted in a workplace over 4 weeks. Our results show that: (i) coachees perceived the VITA adaptive and generic configurations more positively than the pre-scripted one, and they felt understood and heard by the adaptive robotic coach, (ii) the VITA adaptive robotic coach kept learning successfully by personalising to each coachee over time and did not detect any interaction ruptures during the coaching, (iii) coachees had significant mental well-being improvements via the VITA-based robotic coach practice. The code for the VITA system is openly available via: https://github.com/Cambridge-AFAR/VITA-system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google