Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder

要約

認知症の診断には一連の異なる検査方法が必要ですが、これは複雑で時間がかかります。
認知症の早期発見は、さらなる症状悪化を防ぐために非常に重要です。
この論文では、音声認識モデルを利用して、画像説明タスク中の中国語話者に合わせた認知症評価システムを構築します。
現実世界のシナリオによく似た音声データで注意ベースの音声認識モデルをトレーニングすることにより、モデルの認識機能が大幅に強化されました。
続いて、音声認識モデルからエンコーダーを抽出し、認知症評価用の線形層を追加しました。
私たちは 99 人の被験者から中国語の音声データを収集し、地元の病院から臨床評価を取得しました。
アルツハイマー病の検出精度は 92.04%、臨床認知症評価スコア予測では平均絶対誤差 9% を達成しました。

要約(オリジナル)

Dementia diagnosis requires a series of different testing methods, which is complex and time-consuming. Early detection of dementia is crucial as it can prevent further deterioration of the condition. This paper utilizes a speech recognition model to construct a dementia assessment system tailored for Mandarin speakers during the picture description task. By training an attention-based speech recognition model on voice data closely resembling real-world scenarios, we have significantly enhanced the model’s recognition capabilities. Subsequently, we extracted the encoder from the speech recognition model and added a linear layer for dementia assessment. We collected Mandarin speech data from 99 subjects and acquired their clinical assessments from a local hospital. We achieved an accuracy of 92.04% in Alzheimer’s disease detection and a mean absolute error of 9% in clinical dementia rating score prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google