Exploiting prompt learning with pre-trained language models for Alzheimer’s Disease detection

要約

タイトル：プレトレーニングされた言語モデルを用いたアルツハイマー病の検出におけるプロンプト学習の活用

要約：

– アルツハイマー病の早期診断は予防医療を促進し、進行を遅らせるうえで重要である。
– 音声を用いた自動アルツハイマー病スクリーニングシステムは、他の臨床的スクリーニング技法と比べて、非侵襲的でスケーラブルな代替手段を提供する。
– BERTなどのプレトレーニングされた言語モデルが生成するテキスト埋め込み特徴量は、このようなシステムで広く使用されている。
– ただし、PLMドメインの微調整は、マスクされた単語や文の予測コストに基づくものであり、バックエンドのAD検出タスクと一貫性がない。
– この論文では、AD分類エラーを訓練目的関数として一貫して使用するプロンプトベースのPLM微調整の利用を調査している。
– PLM微調整中には、ためらいやポーズの充填トークンの頻度に基づく不流暢さの特徴量がプロンプトフレーズに組み込まれる。
– 異なるPLM（BERTおよびRoBERTa）を使用するシステム、または従来のマスクされた言語モデリング微調整とプロンプトベースの微調整を使用するシステムの間での決定投票による組み合わせも適用される。
– 15回の実験ランの平均値、標準偏差、および最大値をAD検出システムのパフォーマンス測定として採用している。
– ADReSS20テストセット（48人の高齢者スピーカーからなる）で、手動およびASR音声トランスクリプトを使用した場合、平均検出精度はそれぞれ84.20％（std 2.09％、best 87.5％）および82.64％（std 4.0％、best 89.58％）であった。

要約(オリジナル)

Early diagnosis of Alzheimer’s disease (AD) is crucial in facilitating preventive care and to delay further progression. Speech based automatic AD screening systems provide a non-intrusive and more scalable alternative to other clinical screening techniques. Textual embedding features produced by pre-trained language models (PLMs) such as BERT are widely used in such systems. However, PLM domain fine-tuning is commonly based on the masked word or sentence prediction costs that are inconsistent with the back-end AD detection task. To this end, this paper investigates the use of prompt-based fine-tuning of PLMs that consistently uses AD classification errors as the training objective function. Disfluency features based on hesitation or pause filler token frequencies are further incorporated into prompt phrases during PLM fine-tuning. The decision voting based combination among systems using different PLMs (BERT and RoBERTa) or systems with different fine-tuning paradigms (conventional masked-language modelling fine-tuning and prompt-based fine-tuning) is further applied. Mean, standard deviation and the maximum among accuracy scores over 15 experiment runs are adopted as performance measurements for the AD detection system. Mean detection accuracy of 84.20% (with std 2.09%, best 87.5%) and 82.64% (with std 4.0%, best 89.58%) were obtained using manual and ASR speech transcripts respectively on the ADReSS20 test set consisting of 48 elderly speakers.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI