Improving Textless Spoken Language Understanding with Discrete Units as Intermediate Target

要約

音声言語理解 (SLU) は、話された発話から意味論的な情報を抽出することを目的としたタスクです。
これまでの研究では、事前トレーニングされた自動音声認識 (ASR) モデルやペアのテキストなどのペアの音声テキスト データを中間ターゲットとして使用することで、エンドツーエンドの SLU が進歩しました。
ただし、ペアのトランスクリプトを取得するのは高価であり、書かれていない言語では非現実的です。
一方、Textless SLU は、ペアのトランスクリプトを利用せずに音声から意味情報を抽出します。
ただし、中間ターゲットやテキストのない SLU のトレーニング ガイダンスが存在しないため、最適なパフォーマンスが得られないことがよくあります。
この研究では、自己教師あり音声モデルからコンテンツを解きほぐした離散単位に触発され、テキストレス SLU のパフォーマンスを向上させるための中間ガイダンスとして離散単位を使用することを提案しました。
私たちの方法は、5 つの SLU ベンチマーク コーパスのベースライン方法を上回っています。
さらに、ユニット ガイダンスによって少数ショット学習が促進され、モデルのノイズ処理能力が強化されることがわかりました。

要約(オリジナル)

Spoken Language Understanding (SLU) is a task that aims to extract semantic information from spoken utterances. Previous research has made progress in end-to-end SLU by using paired speech-text data, such as pre-trained Automatic Speech Recognition (ASR) models or paired text as intermediate targets. However, acquiring paired transcripts is expensive and impractical for unwritten languages. On the other hand, Textless SLU extracts semantic information from speech without utilizing paired transcripts. However, the absence of intermediate targets and training guidance for textless SLU often results in suboptimal performance. In this work, inspired by the content-disentangled discrete units from self-supervised speech models, we proposed to use discrete units as intermediate guidance to improve textless SLU performance. Our method surpasses the baseline method on five SLU benchmark corpora. Additionally, we find that unit guidance facilitates few-shot learning and enhances the model’s ability to handle noise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google