Evaluating and Personalizing User-Perceived Quality of Text-to-Speech Voices for Delivering Mindfulness Meditation with Different Physical Embodiments

要約

マインドフルネスに基づく療法は精神的健康の改善に効果的であることが示されており、テクノロジーに基づく方法はこれらの療法へのアクセスを拡大する可能性を秘めています。
これらの方法でマインドフルネス実践のためのリアルタイムのパーソナライズされたコンテンツ生成を可能にするには、口頭でのガイダンスを提供し、ユーザーのパフォーマンスや好みに応答する高品質のコンピューター合成音声読み上げ (TTS) 音声が必要です。
ただし、最新の TTS 音声のユーザーが認識する品質は、感情表現力が必要なマインドフルネス瞑想の実施に関してはまだ評価されていません。
さらに、マインドフルネスのためのユーザーが知覚する TTS 音声の品質に対する身体的具体化と個人化の影響を研究する研究はまだ行われていません。
この目的を達成するために、私たちは 2 段階のヒトを対象とした研究を計画しました。
フェーズ 1 では、オンラインの Mechanical Turk 被験者間研究 (N=471) で、3 つの (女性的、男性的、子供のような) 最先端の TTS 音声と、2 人の (女性的、男性的) 人間のセラピストの声を 3 つの声で評価しました。
遠隔参加者との異なる物理的具体化設定（エージェントなし、会話エージェント、社会支援ロボット）。
フェーズ 1 の結果に基づいて、被験者内での対面研究 (N=94) であるフェーズ 2 では、ユーザーの好みに基づいて TTS 音声をパーソナライズするために開発した新しいフレームワークを使用し、ユーザーが知覚する品質を最良の品質と比較して評価しました。
– フェーズ 1 のパーソナライズされていない音声。最も評価の高い人間の声が、すべての TTS 音声よりもよく知覚されることがわかりました。
TTS 音声の感情表現力と自然さは低評価でしたが、ユーザーは TTS 音声の明瞭さに満足していました。
驚くべきことに、ユーザーが TTS 音声機能を微調整できるようにすることで、ユーザーがパーソナライズした TTS 音声は人間の声とほぼ同じように機能するようになり、ユーザーのパーソナライズが、ユーザーが知覚する TTS 音声の品質を向上させるためのシンプルで非常に効果的なツールになり得ることが示唆されました。

要約(オリジナル)

Mindfulness-based therapies have been shown to be effective in improving mental health, and technology-based methods have the potential to expand the accessibility of these therapies. To enable real-time personalized content generation for mindfulness practice in these methods, high-quality computer-synthesized text-to-speech (TTS) voices are needed to provide verbal guidance and respond to user performance and preferences. However, the user-perceived quality of state-of-the-art TTS voices has not yet been evaluated for administering mindfulness meditation, which requires emotional expressiveness. In addition, work has not yet been done to study the effect of physical embodiment and personalization on the user-perceived quality of TTS voices for mindfulness. To that end, we designed a two-phase human subject study. In Phase 1, an online Mechanical Turk between-subject study (N=471) evaluated 3 (feminine, masculine, child-like) state-of-the-art TTS voices with 2 (feminine, masculine) human therapists’ voices in 3 different physical embodiment settings (no agent, conversational agent, socially assistive robot) with remote participants. Building on findings from Phase 1, in Phase 2, an in-person within-subject study (N=94), we used a novel framework we developed for personalizing TTS voices based on user preferences, and evaluated user-perceived quality compared to best-rated non-personalized voices from Phase 1. We found that the best-rated human voice was perceived better than all TTS voices; the emotional expressiveness and naturalness of TTS voices were poorly rated, while users were satisfied with the clarity of TTS voices. Surprisingly, by allowing users to fine-tune TTS voice features, the user-personalized TTS voices could perform almost as well as human voices, suggesting user personalization could be a simple and very effective tool to improve user-perceived quality of TTS voice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google