Relationship between auditory and semantic entrainment using Deep Neural Networks (DNN)

要約

人々が相互作用するときに、同様の、一致する、または同期した行動をする傾向は、エントレインメントとして知られています。
多くの研究で、言語（構文構造および語彙構造）とパラ言語（ピッチ、強さ）の同調が調査されましたが、それらの間の関係を見つけることにはあまり注意が払われませんでした。
この研究では、BERT や TRIpLet Loss network (TRILL) ベクトルなどの最先端の DNN 埋め込みを利用して、2 つの異なる言語の 2 つの比較可能な音声コーパスにおける対話内のターンの意味的および聴覚的類似性を測定するための特徴を抽出しました。
私たちは、人々が聴覚的特徴と比較して、意味的特徴にもっと集中する傾向があることを発見しました。
さらに、意味論的および聴覚言語的特徴の同調には正の相関があることもわかりました。
この研究の結果は、人間と機械の相互作用 (HMI) における同調メカニズムの実装に役立つ可能性があります。

要約(オリジナル)

The tendency of people to engage in similar, matching, or synchronized behaviour when interacting is known as entrainment. Many studies examined linguistic (syntactic and lexical structures) and paralinguistic (pitch, intensity) entrainment, but less attention was given to finding the relationship between them. In this study, we utilized state-of-the-art DNN embeddings such as BERT and TRIpLet Loss network (TRILL) vectors to extract features for measuring semantic and auditory similarities of turns within dialogues in two comparable spoken corpora of two different languages. We found people’s tendency to entrain on semantic features more when compared to auditory features. Additionally, we found that entrainment in semantic and auditory linguistic features are positively correlated. The findings of this study might assist in implementing the mechanism of entrainment in human-machine interaction (HMI).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google