Cross-lingual Alzheimer’s Disease detection based on paralinguistic and pre-trained features

要約

ICASSP-SPGC-2023 ADReSS-M チャレンジ タスクへの提出物を提示します。これは、アルツハイマー病 (AD) 予測のためにどの音響特徴を一般化して言語間で転送できるかを調査することを目的としています。
この課題は 2 つのタスクで構成されています。1 つは AD 患者と健常者の発話を分類することで、もう 1 つは発話のみに基づいて Mini Mental State Examination (MMSE) スコアを推測することです。
この難しさは主に、トレーニング セットが英語でテスト セットがギリシャ語であるというデータセットの不一致に具​​体化されています。
openSmile ツールキットを使用してパラ言語特徴を抽出し、XLSR-53 を使用して音響特徴を抽出します。
さらに、音声をテキストに書き起こした後、言語的特徴を抽出します。
これらの機能は、私たちの方法で AD 検出の指標として使用されます。
私たちの方法は、分類タスクで 69.6% の精度を達成し、回帰タスクで 4.788 の二乗平均平方根誤差 (RMSE) を達成しました。
結果は、我々の提案した方法が自然発話による多言語アルツハイマー病の自動検出を達成することが期待されることを示しています。

要約(オリジナル)

We present our submission to the ICASSP-SPGC-2023 ADReSS-M Challenge Task, which aims to investigate which acoustic features can be generalized and transferred across languages for Alzheimer’s Disease (AD) prediction. The challenge consists of two tasks: one is to classify the speech of AD patients and healthy individuals, and the other is to infer Mini Mental State Examination (MMSE) score based on speech only. The difficulty is mainly embodied in the mismatch of the dataset, in which the training set is in English while the test set is in Greek. We extract paralinguistic features using openSmile toolkit and acoustic features using XLSR-53. In addition, we extract linguistic features after transcribing the speech into text. These features are used as indicators for AD detection in our method. Our method achieves an accuracy of 69.6% on the classification task and a root mean squared error (RMSE) of 4.788 on the regression task. The results show that our proposed method is expected to achieve automatic multilingual Alzheimer’s Disease detection through spontaneous speech.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google