I Know Your Feelings Before You Do: Predicting Future Affective Reactions in Human-Computer Dialogue

要約

現在の音声対話システム (SDS) は、多くの場合、ユーザーの音声を受信した後にのみ応答する受動的なリスナーとして機能します。
人間のような対話を実現するために、ユーザーが話す前に、SDS が現在の行動に基づいて将来の感情反応を予測できるようにする、新しい未来予測アーキテクチャを提案します。
この作業では、スピーチと笑いという 2 つのシナリオを調査します。
音声では、システムの現在の感情との時間的関係、およびシステムの現在の対話行為 (DA) との因果関係に基づいて、ユーザーの将来の感情を予測することを提案します。
笑いでは、現在のターンにおけるシステムの笑いの行動を使用して、ユーザーの笑いの発生と種類を予測することを提案します。
人間とロボットの対話の予備分析では、人間とロボットが示す感情と笑いの同期性、および対話における DA 感情の因果関係が示されました。
これにより、私たちのアーキテクチャが予測的 SDS の開発に貢献できることが確認されました。

要約(オリジナル)

Current Spoken Dialogue Systems (SDSs) often serve as passive listeners that respond only after receiving user speech. To achieve human-like dialogue, we propose a novel future prediction architecture that allows an SDS to anticipate future affective reactions based on its current behaviors before the user speaks. In this work, we investigate two scenarios: speech and laughter. In speech, we propose to predict the user’s future emotion based on its temporal relationship with the system’s current emotion and its causal relationship with the system’s current Dialogue Act (DA). In laughter, we propose to predict the occurrence and type of the user’s laughter using the system’s laughter behaviors in the current turn. Preliminary analysis of human-robot dialogue demonstrated synchronicity in the emotions and laughter displayed by the human and robot, as well as DA-emotion causality in their dialogue. This verifies that our architecture can contribute to the development of an anticipatory SDS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google