Matcha-TTS: A fast TTS architecture with conditional flow matching

要約

Matcha-TTS は、最適トランスポート条件付きフロー マッチング (OT-CFM) を使用してトレーニングされた、高速な TTS 音響モデリングのための新しいエンコーダー/デコーダー アーキテクチャです。
これにより、スコア マッチングを使用してトレーニングされたモデルよりも少ない合成ステップで高い出力品質を実現できる ODE ベースのデコーダーが得られます。
さらに、設計を慎重に選択することで、各合成ステップを高速に実行できます。
この方法は確率的で非自己回帰的であり、外部の調整なしにゼロから話すことを学習します。
強力な事前トレーニング済みのベースライン モデルと比較して、Matta-TTS システムはメモリ フットプリントが最小で、長い発話では最速のモデルの速度に匹敵し、リスニング テストで最高の平均オピニオン スコアを達成します。
音声サンプル、コード、事前トレーニング済みモデルについては、https://shivammehta25.github.io/Matcha-TTS/ を参照してください。

要約(オリジナル)

We introduce Matcha-TTS, a new encoder-decoder architecture for speedy TTS acoustic modelling, trained using optimal-transport conditional flow matching (OT-CFM). This yields an ODE-based decoder capable of high output quality in fewer synthesis steps than models trained using score matching. Careful design choices additionally ensure each synthesis step is fast to run. The method is probabilistic, non-autoregressive, and learns to speak from scratch without external alignments. Compared to strong pre-trained baseline models, the Matcha-TTS system has the smallest memory footprint, rivals the speed of the fastest models on long utterances, and attains the highest mean opinion score in a listening test. Please see https://shivammehta25.github.io/Matcha-TTS/ for audio examples, code, and pre-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google