SlimSpeech: Lightweight and Efficient Text-to-Speech with Slim Rectified Flow

要約

最近、フローマッチングベースの音声合成により、推論ステップの数を減らしながら、合成された音声の品質が大幅に向上しました。
この論文では、修正された流れに基づいた軽量で効率的な音声合成システムであるSlimspeechを紹介します。
修正フローモデルを利用して既存の音声合成方法に基づいて構築され、その構造を変更してパラメーターを削減し、教師モデルとして機能します。
リフロー操作を改良することにより、蒸留技術を利用してモデルのパフォーマンスをさらに向上させながら、より大きなモデルからよりまっすぐなサンプリング軌道を備えた小さなモデルを直接導き出します。
実験結果は、モデルパラメーターが大幅に削減された提案された方法が、ワンステップサンプリングを通じてより大きなモデルに匹敵するパフォーマンスを達成することを示しています。

要約(オリジナル)

Recently, flow matching based speech synthesis has significantly enhanced the quality of synthesized speech while reducing the number of inference steps. In this paper, we introduce SlimSpeech, a lightweight and efficient speech synthesis system based on rectified flow. We have built upon the existing speech synthesis method utilizing the rectified flow model, modifying its structure to reduce parameters and serve as a teacher model. By refining the reflow operation, we directly derive a smaller model with a more straight sampling trajectory from the larger model, while utilizing distillation techniques to further enhance the model performance. Experimental results demonstrate that our proposed method, with significantly reduced model parameters, achieves comparable performance to larger models through one-step sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google