Cognitive Insights Across Languages: Enhancing Multimodal Interview Analysis

要約

認知機能の低下は、加齢に伴って起こる自然なプロセスです。
異常な衰退の早期診断は、影響を受けた人々の生活の質を向上させる専門的な治療を開始するために非常に重要です。
この問題に対処するために、軽度認知障害と認知スコアを予測できるマルチモーダル モデルを提案します。
評価の実施には、臨床面接の音声記録で構成される TAUKADIAL データセットが使用されます。
提案されたモデルは、インタビューで使用された言語を書き起こして区別する能力を実証します。
その後、モデルはオーディオとテキストの特徴を抽出し、それらをマルチモーダル アーキテクチャに組み合わせて、堅牢で一般化された結果を実現します。
私たちのアプローチには、提案されたモダリティから得られるさまざまな機能を実装するための徹底的な研究が含まれます。

要約(オリジナル)

Cognitive decline is a natural process that occurs as individuals age. Early diagnosis of anomalous decline is crucial for initiating professional treatment that can enhance the quality of life of those affected. To address this issue, we propose a multimodal model capable of predicting Mild Cognitive Impairment and cognitive scores. The TAUKADIAL dataset is used to conduct the evaluation, which comprises audio recordings of clinical interviews. The proposed model demonstrates the ability to transcribe and differentiate between languages used in the interviews. Subsequently, the model extracts audio and text features, combining them into a multimodal architecture to achieve robust and generalized results. Our approach involves in-depth research to implement various features obtained from the proposed modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google