Neural Speech and Audio Coding

要約

この論文では、ニューラル音声およびオーディオコーディングシステムの領域内でのモデルベースのアプローチとデータ駆動型のアプローチの統合について検討します。
音声およびオーディオ コーデックの主観的な評価プロセスによってもたらされる課題に焦点を当て、モデルベースの手法のパフォーマンスに匹敵する非効率的に大規模なアーキテクチャが必要になることが多い、純粋にデータ駆動型のアプローチの限界について説明します。
この調査では、ハイブリッド システムが実行可能なソリューションとして提示されており、慎重に選択された設計強化により従来のコーデックのパフォーマンスが大幅に向上します。
具体的には、既存のコーデックの出力を後処理するように設計されたニューラル ネットワーク ベースのシグナル エンハンサーと、オートエンコーダ ベースのエンドツーエンド モデルおよび LPCNet (線形予測符号化 (LPC) とニューラル ネットワークを組み合わせたハイブリッド システム) を導入します。
。
さらに、この論文では、カスタム特徴空間 (TF-Codec) または事前定義された変換ドメイン (MDCTNet) 内で動作する予測モデルを詳しく調べ、エンドツーエンドのニューラル オーディオ コーデックをトレーニングするための音響心理学的に調整された損失関数の使用を検討します。
これらの調査を通じて、この論文は、従来のモデルベースのアプローチと最新のデータ駆動型技術の間のギャップを埋めることによって、音声およびオーディオコーディングの分野を進歩させるハイブリッドシステムの可能性を実証しています。

要約(オリジナル)

This paper explores the integration of model-based and data-driven approaches within the realm of neural speech and audio coding systems. It highlights the challenges posed by the subjective evaluation processes of speech and audio codecs and discusses the limitations of purely data-driven approaches, which often require inefficiently large architectures to match the performance of model-based methods. The study presents hybrid systems as a viable solution, offering significant improvements to the performance of conventional codecs through meticulously chosen design enhancements. Specifically, it introduces a neural network-based signal enhancer designed to post-process existing codecs’ output, along with the autoencoder-based end-to-end models and LPCNet–hybrid systems that combine linear predictive coding (LPC) with neural networks. Furthermore, the paper delves into predictive models operating within custom feature spaces (TF-Codec) or predefined transform domains (MDCTNet) and examines the use of psychoacoustically calibrated loss functions to train end-to-end neural audio codecs. Through these investigations, the paper demonstrates the potential of hybrid systems to advance the field of speech and audio coding by bridging the gap between traditional model-based approaches and modern data-driven techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google