Tagged-MRI Sequence to Audio Synthesis via Self Residual Attention Guided Heterogeneous Translator

要約

タグ付きMRIに見られる舌や中咽頭筋の変形と明瞭な音声の関係を理解することは、音声運動制御理論の発展や音声関連障害の治療に重要な役割を果たします。しかし、この2つのモダリティは表現が異なるため、2次元（正中矢状断）＋時間タグ付きMRIシーケンスとそれに対応する1次元波形を直接対応させることはできません。その代わりに、我々は、ピッチと共鳴の両方を含む中間表現として2次元スペクトログラムに頼り、そこから、限られたデータセットサイズでタグ付きMRIシーケンスから対応する音声波形に変換するエンドツーエンドの深層学習フレームワークを開発した。~さらに、生成されたスペクトログラムのリアルさを向上させるために、生成的敵対ネットワークを用いた敵対的学習アプローチを取り入れている。合計63のタグ付きMRIシーケンスと音声音響を用いた実験の結果、我々のフレームワークは、競合する方法を凌いでタグ付きMRIシーケンスから明確な音声波形を生成できることが示された。このように、我々のフレームワークは、2つのモダリティの関係性をより良く理解するのに役立つ大きな可能性を提供します。

要約(オリジナル)

Understanding the underlying relationship between tongue and oropharyngeal muscle deformation seen in tagged-MRI and intelligible speech plays an important role in advancing speech motor control theories and treatment of speech related-disorders. Because of their heterogeneous representations, however, direct mapping between the two modalities — i.e., two-dimensional (mid-sagittal slice) plus time tagged-MRI sequence and its corresponding one-dimensional waveform — is not straightforward. Instead, we resort to two-dimensional spectrograms as an intermediate representation, which contains both pitch and resonance, from which to develop an end-to-end deep learning framework to translate from a sequence of tagged-MRI to its corresponding audio waveform with limited dataset size.~Our framework is based on a novel fully convolutional asymmetry translator with guidance of a self residual attention strategy to specifically exploit the moving muscular structures during speech.~In addition, we leverage a pairwise correlation of the samples with the same utterances with a latent space representation disentanglement strategy.~Furthermore, we incorporate an adversarial training approach with generative adversarial networks to offer improved realism on our generated spectrograms.~Our experimental results, carried out with a total of 63 tagged-MRI sequences alongside speech acoustics, showed that our framework enabled the generation of clear audio waveforms from a sequence of tagged-MRI, surpassing competing methods. Thus, our framework provides the great potential to help better understand the relationship between the two modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL