Performance Analysis of Speech Encoders for Low-Resource SLU and ASR in Tunisian Dialect

要約

自己教師あり学習(SSL)によって事前に学習された音声エンコーダは、音声言語理解(SLU)や自動音声認識(ASR)を含む様々な下流タスクにおいて顕著な性能を示している。例えば、このようなタスクのためにSSLモデルを微調整することは、困難なデータセットにおけるSOTA性能の向上につながり、大きな可能性を示している。既存の研究とは対照的に、本論文では、(i)リソースの少ないチュニジアのアラビア語音声方言と、(ii)微調整に利用できる意味的注釈がわずかな、リソースの少ないSLUとASRシナリオとの組み合わせ、という文脈におけるSSLアプローチの有効性を比較することで貢献する。TARIC-SLUデータセットを用いて、多くのSSL音声エンコーダを用いた実験を行う。単言語または多言語の音声データで事前に訓練された音声エンコーダを使用する。また、それらのいくつかは、マルチモーダル教師あり学生ありのパラダイムを通して、チュニジアのデータを使わずに改良された。この研究は、本稿で述べる多くの重要な発見をもたらした。

要約(オリジナル)

Speech encoders pretrained through self-supervised learning (SSL) have demonstrated remarkable performance in various downstream tasks, including Spoken Language Understanding (SLU) and Automatic Speech Recognition (ASR). For instance, fine-tuning SSL models for such tasks has shown significant potential, leading to improvements in the SOTA performance across challenging datasets. In contrast to existing research, this paper contributes by comparing the effectiveness of SSL approaches in the context of (i) the low-resource spoken Tunisian Arabic dialect and (ii) its combination with a low-resource SLU and ASR scenario, where only a few semantic annotations are available for fine-tuning. We conduct experiments using many SSL speech encoders on the TARIC-SLU dataset. We use speech encoders that were pre-trained on either monolingual or multilingual speech data. Some of them have also been refined without in-domain nor Tunisian data through multimodal supervised teacher-student paradigm. This study yields numerous significant findings that we are discussing in this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL