Infusing Acoustic Pause Context into Text-Based Dementia Assessment

要約

音声の一時停止は、内容や構造と並んで、認知症を検出するための貴重で非侵襲的なバイオマーカーとなります。
この研究では、認知障害のない被験者、軽度認知障害、およびアルツハイマー型認知症の被験者の認知状態を臨床評価からの発話に基づいて区別するために、トランスフォーマーベースの言語モデルで一時停止強化トランスクリプトを使用する方法を調査しています。
私たちは、発症、モニタリング、認知症の除外という 3 つの二項分類タスクに取り組みます。
パフォーマンスは、ドイツ語言語流暢性テストと画像説明テストの実験を通じて評価され、さまざまな音声生成コンテキストにわたるモデルの有効性が比較されます。
テキストのベースラインから始めて、ポーズ情報と音響コンテキストの組み込みの効果を調査します。
テストはタスクに応じて選択する必要があり、同様に、語彙的なポーズ情報と音響的なクロスアテンションが異なる寄与をすることを示します。

要約(オリジナル)

Speech pauses, alongside content and structure, offer a valuable and non-invasive biomarker for detecting dementia. This work investigates the use of pause-enriched transcripts in transformer-based language models to differentiate the cognitive states of subjects with no cognitive impairment, mild cognitive impairment, and Alzheimer’s dementia based on their speech from a clinical assessment. We address three binary classification tasks: Onset, monitoring, and dementia exclusion. The performance is evaluated through experiments on a German Verbal Fluency Test and a Picture Description Test, comparing the model’s effectiveness across different speech production contexts. Starting from a textual baseline, we investigate the effect of incorporation of pause information and acoustic context. We show the test should be chosen depending on the task, and similarly, lexical pause information and acoustic cross-attention contribute differently.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google