Speaker- and Text-Independent Estimation of Articulatory Movements and Phoneme Alignments from Speech

要約

本論文では、これまで別々に扱われてきた2つのタスク、すなわち音響音声-調音音声逆変換(AAI)と音素-調音(PTA)動き推定の新しい組み合わせを紹介する。本論文では、この2つのタスクをAPTAI(acoustic phoneme-to-articulatory speech inversion)と呼び、推論時に話者とテキストに依存しない2つの異なるアプローチを検討する。我々は、生の音声を入力とし、対応する調音動作、音素列、音素アライメントを推定するというエンドツーエンドの目標を持つ、マルチタスク学習のセットアップを使用する。提案された2つのアプローチは同じ要件を共有しているが、音素に関連する予測を達成する方法が異なっている：一方はフレーム分類に基づき、もう一方は2段階の学習手順と強制アライメントに基づく。我々はAAIタスクにおいて平均相関0.73という競争力のある性能を達成し、最新のテキスト依存音素強制アライナーと比較して最大約87%のフレーム重複を達成した。

要約(オリジナル)

This paper introduces a novel combination of two tasks, previously treated separately: acoustic-to-articulatory speech inversion (AAI) and phoneme-to-articulatory (PTA) motion estimation. We refer to this joint task as acoustic phoneme-to-articulatory speech inversion (APTAI) and explore two different approaches, both working speaker- and text-independently during inference. We use a multi-task learning setup, with the end-to-end goal of taking raw speech as input and estimating the corresponding articulatory movements, phoneme sequence, and phoneme alignment. While both proposed approaches share these same requirements, they differ in their way of achieving phoneme-related predictions: one is based on frame classification, the other on a two-staged training procedure and forced alignment. We reach competitive performance of 0.73 mean correlation for the AAI task and achieve up to approximately 87% frame overlap compared to a state-of-the-art text-dependent phoneme force aligner.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL