Detecting agreement in multi-party dialogue: evaluating speaker diarisation versus a procedural baseline to enhance user engagement

要約

話者のアイデンティティによって重要な文脈上の意味が追加されるため、マルチパーティの対話に参加する会話エージェントは、対話状態の追跡において重大な課題に直面します。
話者を識別するためにダイアライゼーション モデルを利用するのが一般的です。
ただし、これらがリアルタイムの対話中の同意または不同意などの特定の会話イベントを正しく識別するのに十分な精度であるかどうかは明らかではありません。
この研究では、会話型エージェントがクイズ番組の司会者として機能する協力型クイズを使用して、合意を判断する際にダイアライゼーションと頻度と近接度に基づく方法のどちらがより正確であるか、またそれがプレイヤーの関与感につながるかどうかを判断しています。
。
実験の結果、私たちの手続き型システムはプレイヤーにとってより魅力的であり、一致の検出がより正確であり、日記化されたシステムの平均精度が 0.28 であるのに対し、平均精度は 0.44 に達しました。

要約(オリジナル)

Conversational agents participating in multi-party interactions face significant challenges in dialogue state tracking, since the identity of the speaker adds significant contextual meaning. It is common to utilise diarisation models to identify the speaker. However, it is not clear if these are accurate enough to correctly identify specific conversational events such as agreement or disagreement during a real-time interaction. This study uses a cooperative quiz, where the conversational agent acts as quiz-show host, to determine whether diarisation or a frequency-and-proximity-based method is more accurate at determining agreement, and whether this translates to feelings of engagement from the players. Experimental results show that our procedural system was more engaging to players, and was more accurate at detecting agreement, reaching an average accuracy of 0.44 compared to 0.28 for the diarised system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google