要約
エンゲージメント測定は、医療、教育、サービスに応用されています。
生理学的および行動的特徴の使用は実行可能ですが、接触センサーが必要なため、従来の生理学的測定は非実用的です。
私たちは、心拍数変動 (HRV) 特徴を導出し、これらを行動特徴と融合してオンライン グループ会議への参加を測定する際の接触センサーの代替として、教師なし遠隔光電脈波記録法 (rPPG) の実現可能性を実証します。
まず、ソーシャル ワーカー間のオンライン交流に関する独自のエンゲージメント データセットが詳細なエンゲージメント ラベルとともに収集され、仮想会議のダイナミクスに関する洞察が提供されます。
次に、事前トレーニングされた rPPG モデルがカスタマイズされて、教師なしの方法でビデオ会議からの rPPG 信号を再構築し、HRV 特徴の計算が可能になります。
第三に、短い観察ウィンドウを使用して HRV 特徴からエンゲージメントを推定する実現可能性が実証され、2 ～ 4 分の長い観察ウィンドウを使用すると顕著な強化が得られます。
4 番目に、行動指標の有効性が生理学的データと融合されて評価されるため、エンゲージメント推定パフォーマンスがさらに向上します。
HRV 機能のみを使用すると 94% の精度が達成され、接触センサーやグラウンド トゥルース信号が不要になります。
行動の手がかりを使用すると、精度が 96% に高まります。
顔分析により正確なエンゲージメント測定が可能になり、将来のアプリケーションに有益です。
要約(オリジナル)
Engagement measurement finds application in healthcare, education, services. The use of physiological and behavioral features is viable, but the impracticality of traditional physiological measurement arises due to the need for contact sensors. We demonstrate the feasibility of unsupervised remote photoplethysmography (rPPG) as an alternative for contact sensors in deriving heart rate variability (HRV) features, then fusing these with behavioral features to measure engagement in online group meetings. Firstly, a unique Engagement Dataset of online interactions among social workers is collected with granular engagement labels, offering insight into virtual meeting dynamics. Secondly, a pre-trained rPPG model is customized to reconstruct rPPG signals from video meetings in an unsupervised manner, enabling the calculation of HRV features. Thirdly, the feasibility of estimating engagement from HRV features using short observation windows, with a notable enhancement when using longer observation windows of two to four minutes, is demonstrated. Fourthly, the effectiveness of behavioral cues is evaluated when fused with physiological data, which further enhances engagement estimation performance. An accuracy of 94% is achieved when only HRV features are used, eliminating the need for contact sensors or ground truth signals; use of behavioral cues raises the accuracy to 96%. Facial analysis offers precise engagement measurement, beneficial for future applications.
arxiv情報
| 著者 | Alexander Vedernikov,Zhaodong Sun,Virpi-Liisa Kykyri,Mikko Pohjola,Miriam Nokia,Xiaobai Li |
| 発行日 | 2024-05-14 13:20:53+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google