The ART of Conversation: Measuring Phonetic Convergence and Deliberate Imitation in L2-Speech with a Siamese RNN

要約

音声収束とは、会話中の 2 人の対話者の自動的かつ無意識的な音声適応を指します。
この論文では、L2-L2 インタラクションにおける音声の全体的なスペクトル特性の収束を測定するためのシャムリカレントニューラルネットワーク (RNN) アーキテクチャを提案します。
20 人のスロバキア語 L2 英語ネイティブ スピーカーを追加することで、交互読書タスク (ART) データセットを拡張します。
シャム RNN モデルをトレーニングおよびテストして、イタリア語 (9 ダイアド)、フランス語 (10 ダイアド)、およびスロバキア語 (10 ダイアド) の 3 つの異なる母国語グループからの L2 英語音声の音声収束を測定します。
我々の結果は、Siamese RNN モデルが音声の収束と話者の模倣能力のダイナミクスを効果的に捉えていることを示しています。
さらに、このテキストに依存しないモデルはスケーラブルであり、L1 によって引き起こされる話者の変動を処理できます。

要約(オリジナル)

Phonetic convergence describes the automatic and unconscious speech adaptation of two interlocutors in a conversation. This paper proposes a Siamese recurrent neural network (RNN) architecture to measure the convergence of the holistic spectral characteristics of speech sounds in an L2-L2 interaction. We extend an alternating reading task (the ART) dataset by adding 20 native Slovak L2 English speakers. We train and test the Siamese RNN model to measure phonetic convergence of L2 English speech from three different native language groups: Italian (9 dyads), French (10 dyads) and Slovak (10 dyads). Our results indicate that the Siamese RNN model effectively captures the dynamics of phonetic convergence and the speaker’s imitation ability. Moreover, this text-independent model is scalable and capable of handling L1-induced speaker variability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google