Towards Hierarchical Spoken Language Dysfluency Modeling

要約

音声流暢性モデリングは、言語療法と言語学習の両方のボトルネックです。
しかし、この問題に体系的に取り組むための AI ソリューションはありません。
まず、流暢でない発話と流暢でない発話のモデリングの概念を定義することを提案します。
次に、流暢性障害の転写と検出の両方に対処し、大規模な手動アノテーションの必要性を排除する、階層的制約のない流暢性障害モデリング (H-UDM) アプローチを紹介します。
さらに、音声転写における H-UDM の機能を強化するために、VCTK++ と呼ばれる模擬流暢性データセットを導入します。
私たちの実験結果は、転写タスクと検出タスクの両方における私たちが提案した方法の有効性と堅牢性を示しています。

要約(オリジナル)

Speech dysfluency modeling is the bottleneck for both speech therapy and language learning. However, there is no AI solution to systematically tackle this problem. We first propose to define the concept of dysfluent speech and dysfluent speech modeling. We then present Hierarchical Unconstrained Dysfluency Modeling (H-UDM) approach that addresses both dysfluency transcription and detection to eliminate the need for extensive manual annotation. Furthermore, we introduce a simulated dysfluent dataset called VCTK++ to enhance the capabilities of H-UDM in phonetic transcription. Our experimental results demonstrate the effectiveness and robustness of our proposed methods in both transcription and detection tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google