要約
自動音声品質評価は、従来の知覚的臨床評価の代替またはサポートとしてさらに注目を集めています。
しかし、これまでのところほとんどの研究は、データ不足が主な原因で、二値分類などの単純なタスクでのみ良好な結果を得ています。
この課題に対処するために、現在の研究では、患者の音声ファイルを多数のサンプルに分割してデータセットを増強する傾向があります。
それにもかかわらず、このアプローチには、全体的なオーディオスコアを個々のセグメントに間接的に関連付けるため、限界があります。
この論文では、データが不足しているにもかかわらず、システムがセグメントではなくオーディオ レベルで学習する新しいアプローチを紹介します。
このペーパーでは、音声評価における特徴抽出器として、SSL と ASR の両方に事前トレーニングされた Wav2Vec2 アーキテクチャを使用することを提案します。
HNC データセットで実行された私たちの ASR 主導のアプローチは、他のアプローチと比較して新しいベースラインを確立し、わずか 95 個のトレーニング サンプルを使用して、明瞭度スコアと重症度スコアの予測にそれぞれ平均 $MSE=0.73$ と $MSE=1.15$ を取得しました。
これは、ASR ベースの Wav2Vec2 モデルが最良の結果をもたらすことを示しており、ASR と音声品質評価の間に強い相関関係があることを示している可能性があります。
また、可変セグメントの長さと音声内容に関する能力を測定し、その決定に影響を与える要因を調査します。
要約(オリジナル)
Automatic speech quality assessment has raised more attention as an alternative or support to traditional perceptual clinical evaluation. However, most research so far only gains good results on simple tasks such as binary classification, largely due to data scarcity. To deal with this challenge, current works tend to segment patients’ audio files into many samples to augment the datasets. Nevertheless, this approach has limitations, as it indirectly relates overall audio scores to individual segments. This paper introduces a novel approach where the system learns at the audio level instead of segments despite data scarcity. This paper proposes to use the pre-trained Wav2Vec2 architecture for both SSL, and ASR as feature extractor in speech assessment. Carried out on the HNC dataset, our ASR-driven approach established a new baseline compared with other approaches, obtaining average $MSE=0.73$ and $MSE=1.15$ for the prediction of intelligibility and severity scores respectively, using only 95 training samples. It shows that the ASR based Wav2Vec2 model brings the best results and may indicate a strong correlation between ASR and speech quality assessment. We also measure its ability on variable segment durations and speech content, exploring factors influencing its decision.
arxiv情報
| 著者 | Tuan Nguyen,Corinne Fredouille,Alain Ghio,Mathieu Balaguer,Virginie Woisard |
| 発行日 | 2024-03-29 13:59:34+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google