Scaling Transformers for Low-Bitrate High-Quality Speech Coding

要約

ニューラル オーディオ コーデック モデルを使用した音声のトークン化は、単独またはマルチモーダル コンテキストで音声を生成または理解するための最新の AI パイプラインの重要な部分です。
従来、このようなトークン化モデルは、強い誘導バイアスを持つコンポーネントのみを使用する、パラメーター数の少ないアーキテクチャに集中していました。
この研究では、パラメータ数が多い変換器アーキテクチャをこの問題に合わせて拡張し、柔軟な有限スカラー量子化 (FSQ) ベースのボトルネックを適用することで、極めて低いビットで最先端の音声品質を達成できることを示します。
-$400$ または $700$ ビット/秒のレート。
トレーニングされたモデルは、客観的テストと主観的テストの両方で既存のベースラインを大幅に上回ります。

要約(オリジナル)

The tokenization of speech with neural audio codec models is a vital part of modern AI pipelines for the generation or understanding of speech, alone or in a multimodal context. Traditionally such tokenization models have concentrated on low parameter-count architectures using only components with strong inductive biases. In this work we show that by scaling a transformer architecture with large parameter count to this problem, and applying a flexible Finite Scalar Quantization (FSQ) based bottleneck, it is possible to reach state-of-the-art speech quality at extremely low bit-rates of $400$ or $700$ bits-per-second. The trained models strongly out-perform existing baselines in both objective and subjective tests.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google