Performance Analysis of Speech Encoders for Low-Resource SLU and ASR in Tunisian Dialect

要約

自己教師あり学習 (SSL) を通じて事前トレーニングされた音声エンコーダーは、音声言語理解 (SLU) や自動音声認識 (ASR) を含む、さまざまな下流タスクで顕著なパフォーマンスを実証しました。
たとえば、このようなタスク向けに SSL モデルを微調整すると、困難なデータセット全体で SOTA パフォーマンスの向上につながる大きな可能性が示されています。
既存の研究とは対照的に、この論文は、(i) 低リソースのチュニジア語アラビア語方言、および (ii) 低リソースの SLU および ASR シナリオとの組み合わせというコンテキストで SSL アプローチの有効性を比較することで貢献します。
微調整に使用できるセマンティック アノテーションはほとんどありません。
私たちは、TARIC-SLU データセット上で多くの SSL 音声エンコーダを使用して実験を実施します。
単言語または多言語の音声データで事前トレーニングされた音声エンコーダーを使用します。
それらの一部は、マルチモーダルな教師と生徒のパラダイムを通じて、ドメイン内データやチュニジアのデータを使用せずに洗練されたものもあります。
この研究により、この文書で説明する多くの重要な発見が得られました。

要約(オリジナル)

Speech encoders pretrained through self-supervised learning (SSL) have demonstrated remarkable performance in various downstream tasks, including Spoken Language Understanding (SLU) and Automatic Speech Recognition (ASR). For instance, fine-tuning SSL models for such tasks has shown significant potential, leading to improvements in the SOTA performance across challenging datasets. In contrast to existing research, this paper contributes by comparing the effectiveness of SSL approaches in the context of (i) the low-resource spoken Tunisian Arabic dialect and (ii) its combination with a low-resource SLU and ASR scenario, where only a few semantic annotations are available for fine-tuning. We conduct experiments using many SSL speech encoders on the TARIC-SLU dataset. We use speech encoders that were pre-trained on either monolingual or multilingual speech data. Some of them have also been refined without in-domain nor Tunisian data through multimodal supervised teacher-student paradigm. This study yields numerous significant findings that we are discussing in this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google