MASR: Metadata Aware Speech Representation

要約

近年、音声表現学習は主に自己教師あり学習 (SSL) タスクとして構築されており、生の音声信号のみを使用し、特定の音声録音で得られる副次情報は無視されています。
この論文では、前述の制限に対処するメタデータ認識音声表現学習フレームワークである MASR を提案します。
MASR を使用すると、複数の外部知識ソースを組み込むことができ、メタデータ情報の利用を強化できます。
外部知識ソースは、ハードマイニングの損失に役立つサンプルレベルのペアごとの類似性行列の形式で組み込まれています。
MASR フレームワークの主な利点は、任意の SSL 方式と組み合わせられることです。
MASR 表現を使用して、言語識別、音声認識、話者認識や感情認識などのその他の非意味論的タスクなど、いくつかの下流タスクの評価を実行します。
これらの実験では、他の確立されたベンチマークと比較して MASR のパフォーマンスが大幅に向上していることを示します。
言語識別タスクの詳細な分析を実行して、提案された損失関数によってどのように表現が密接に関連した言語を分離できるかについての洞察を提供します。

要約(オリジナル)

In the recent years, speech representation learning is constructed primarily as a self-supervised learning (SSL) task, using the raw audio signal alone, while ignoring the side-information that is often available for a given speech recording. In this paper, we propose MASR, a Metadata Aware Speech Representation learning framework, which addresses the aforementioned limitations. MASR enables the inclusion of multiple external knowledge sources to enhance the utilization of meta-data information. The external knowledge sources are incorporated in the form of sample-level pair-wise similarity matrices that are useful in a hard-mining loss. A key advantage of the MASR framework is that it can be combined with any choice of SSL method. Using MASR representations, we perform evaluations on several downstream tasks such as language identification, speech recognition and other non-semantic tasks such as speaker and emotion recognition. In these experiments, we illustrate significant performance improvements for the MASR over other established benchmarks. We perform a detailed analysis on the language identification task to provide insights on how the proposed loss function enables the representations to separate closely related languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google