Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model

要約

オーディオ生成における最近の進歩は、大規模言語モデル (LLM) の機能によって大きく推進されています。
オーディオ LLM に関する既存の研究は、主にオーディオ言語モデルのアーキテクチャとスケールの強化、およびより大規模なデータセットの活用に焦点を当てており、一般に、EnCodec などの音響コーデックがオーディオのトークン化に使用されます。
ただし、これらのコーデックはもともとオーディオ圧縮用に設計されているため、オーディオ LLM のコンテキストでは最適なパフォーマンスが得られない可能性があります。
私たちの研究は、現在のオーディオ LLM コーデックの欠点、特に生成されたオーディオのセマンティックな整合性を維持する際の課題に対処することを目的としています。
たとえば、テキストの転写に基づいて音響トークンの生成を条件付ける VALL-E などの既存の方法では、音響トークンの意味解釈の誤りによる内容の不正確さや単語誤り率 (WER) の上昇が問題となり、単語のスキップやエラーが発生することがよくあります。
これらの問題を克服するために、X-Codec と呼ばれる単純かつ効果的なアプローチを提案します。
X-Codec は、残差ベクトル量子化 (RVQ) ステージの前に、事前トレーニングされたセマンティック エンコーダーからのセマンティック機能を組み込み、RVQ の後にセマンティック再構成損失を導入します。
X-Codec は、コーデックのセマンティック能力を強化することにより、音声合成タスクにおける WER を大幅に削減し、これらの利点を音楽やサウンド生成などの非音声アプリケーションに拡張します。
テキスト読み上げ、音楽の継続、およびテキストから音声へのタスクにおける私たちの実験は、セマンティック情報を統合することにより、オーディオ生成における言語モデルの全体的なパフォーマンスが大幅に向上することを示しています。
コードとデモが利用可能です (デモ: https://x-codec-audio.github.io コード: https://github.com/zhenye234/xcodec)

要約(オリジナル)

Recent advancements in audio generation have been significantly propelled by the capabilities of Large Language Models (LLMs). The existing research on audio LLM has primarily focused on enhancing the architecture and scale of audio language models, as well as leveraging larger datasets, and generally, acoustic codecs, such as EnCodec, are used for audio tokenization. However, these codecs were originally designed for audio compression, which may lead to suboptimal performance in the context of audio LLM. Our research aims to address the shortcomings of current audio LLM codecs, particularly their challenges in maintaining semantic integrity in generated audio. For instance, existing methods like VALL-E, which condition acoustic token generation on text transcriptions, often suffer from content inaccuracies and elevated word error rates (WER) due to semantic misinterpretations of acoustic tokens, resulting in word skipping and errors. To overcome these issues, we propose a straightforward yet effective approach called X-Codec. X-Codec incorporates semantic features from a pre-trained semantic encoder before the Residual Vector Quantization (RVQ) stage and introduces a semantic reconstruction loss after RVQ. By enhancing the semantic ability of the codec, X-Codec significantly reduces WER in speech synthesis tasks and extends these benefits to non-speech applications, including music and sound generation. Our experiments in text-to-speech, music continuation, and text-to-sound tasks demonstrate that integrating semantic information substantially improves the overall performance of language models in audio generation. Our code and demo are available (Demo: https://x-codec-audio.github.io Code: https://github.com/zhenye234/xcodec)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google