Wav2vec-based Detection and Severity Level Classification of Dysarthria from Speech

要約

音響音声信号から直接、構音障害を自動検出および重症度レベル分類することは、医療診断のツールとして使用できます。
この研究では、事前トレーニングされた wav2vec 2.0 モデルが、構音障害音声の検出および重症度レベル分類システムを構築するための特徴抽出器として研究されています。
実験は、広く使用されている UA 音声データベースを使用して実行されました。
検出実験では、wav2vec モデルの最初の層からの埋め込みを使用して最高のパフォーマンスが得られ、最高のパフォーマンスのベースライン特徴 (スペクトログラム) と比較して 1.23% の精度の絶対的な向上が得られたことが結果からわかりました。
研究された重大度レベル分類タスクでは、最終層からの埋め込みにより、最良のベースライン特徴 (メル周波数ケプストラム係数) と比較して、精度が 10.62% 絶対的に向上したことが結果から明らかになりました。

要約(オリジナル)

Automatic detection and severity level classification of dysarthria directly from acoustic speech signals can be used as a tool in medical diagnosis. In this work, the pre-trained wav2vec 2.0 model is studied as a feature extractor to build detection and severity level classification systems for dysarthric speech. The experiments were carried out with the popularly used UA-speech database. In the detection experiments, the results revealed that the best performance was obtained using the embeddings from the first layer of the wav2vec model that yielded an absolute improvement of 1.23% in accuracy compared to the best performing baseline feature (spectrogram). In the studied severity level classification task, the results revealed that the embeddings from the final layer gave an absolute improvement of 10.62% in accuracy compared to the best baseline features (mel-frequency cepstral coefficients).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google