MRI2Speech: Speech Synthesis from Articulatory Movements Recorded by Real-time MRI

要約

以前のリアルタイム MRI (rtMRI) ベースの音声合成モデルは、ノイズの多いグラウンドトゥルース音声に大きく依存していました。
グラウンド トゥルース メル スペクトログラムに損失を直接適用すると、音声内容が MRI ノイズと絡み合い、明瞭度が低下します。
我々は、rtMRI からのテキスト予測にマルチモーダル自己教師あり AV-HuBERT モデルを適応させ、話者固有の位置合わせのための新しいフローベースの継続時間予測子を組み込む新しいアプローチを紹介します。
予測されたテキストと継続時間は音声デコーダによって使用され、新しい音声で整列された音声が合成されます。
私たちは 2 つのデータセットに対して徹底的な実験を実施し、目に見えない話者に対する私たちの方法の一般化能力を実証します。
rtMRI ビデオの一部をマスクしてフレームワークのパフォーマンスを評価し、テキスト予測に対するさまざまな調音器の影響を評価します。
私たちの方法は、USC-TIMIT MRI コーパスで $15.18\%$ の単語誤り率 (WER) を達成し、現在の最先端技術と比較して大幅な改善を示しています。
音声サンプルは https://mri2speech.github.io/MRI2Speech/ で入手できます。

要約(オリジナル)

Previous real-time MRI (rtMRI)-based speech synthesis models depend heavily on noisy ground-truth speech. Applying loss directly over ground truth mel-spectrograms entangles speech content with MRI noise, resulting in poor intelligibility. We introduce a novel approach that adapts the multi-modal self-supervised AV-HuBERT model for text prediction from rtMRI and incorporates a new flow-based duration predictor for speaker-specific alignment. The predicted text and durations are then used by a speech decoder to synthesize aligned speech in any novel voice. We conduct thorough experiments on two datasets and demonstrate our method’s generalization ability to unseen speakers. We assess our framework’s performance by masking parts of the rtMRI video to evaluate the impact of different articulators on text prediction. Our method achieves a $15.18\%$ Word Error Rate (WER) on the USC-TIMIT MRI corpus, marking a huge improvement over the current state-of-the-art. Speech samples are available at https://mri2speech.github.io/MRI2Speech/

arxiv情報

著者 Neil Shah,Ayan Kashyap,Shirish Karande,Vineet Gandhi
発行日 2025-01-17 12:18:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SD, eess.AS パーマリンク