MAMAF-Net: Motion-Aware and Multi-Attention Fusion Network for Stroke Diagnosis

要約

脳卒中は世界中で死亡と障害の主な原因であり、4人に1人が一生のうちに脳卒中を患う危険にさらされています。
病院前の脳卒中評価は、脳卒中患者を正確に特定し、病院でのさらなる検査と治療を迅速化する上で重要な役割を果たします。
したがって、国立衛生研究所脳卒中スケール (NIHSS)、シンシナティ病院前脳卒中スケール (CPSS)、および顔腕速度時間 (F.A.S.T.) は、脳卒中評価のための世界的に知られた検査です。
しかし、神経内科医が不在であり、医療へのアクセスが制限される可能性があるため、これらの検査の有効性は懐疑的です。
そこで本研究では、マルチモーダルな検査映像から脳卒中を検出できる動作認識・多注意融合ネットワーク（MAMAF-Net）を提案する。
ビデオ分析による脳卒中検出に関する他の研究とは対照的に、私たちの研究は、脳卒中、一過性脳虚血発作（TIA）、および健康対照をカプセル化したデータセットを使用した各被験者の複数のビデオ録画からのエンドツーエンドのソリューションを初めて提案しています。
提案されたMAMAF-Netは、患者の動きを感知する動作認識モジュール、複数入力ビデオデータを融合する注意モジュール、および注意ベースで抽出された特徴から診断を実行する3D畳み込み層で構成されます。
収集された脳卒中データ データセットに対する実験結果は、提案された MAMAF-Net が 93.62% の感度と 95.33% の AUC スコアで脳卒中の検出に成功したことを示しています。

要約(オリジナル)

Stroke is a major cause of mortality and disability worldwide from which one in four people are in danger of incurring in their lifetime. The pre-hospital stroke assessment plays a vital role in identifying stroke patients accurately to accelerate further examination and treatment in hospitals. Accordingly, the National Institutes of Health Stroke Scale (NIHSS), Cincinnati Pre-hospital Stroke Scale (CPSS) and Face Arm Speed Time (F.A.S.T.) are globally known tests for stroke assessment. However, the validity of these tests is skeptical in the absence of neurologists and access to healthcare may be limited. Therefore, in this study, we propose a motion-aware and multi-attention fusion network (MAMAF-Net) that can detect stroke from multimodal examination videos. Contrary to other studies on stroke detection from video analysis, our study for the first time proposes an end-to-end solution from multiple video recordings of each subject with a dataset encapsulating stroke, transient ischemic attack (TIA), and healthy controls. The proposed MAMAF-Net consists of motion-aware modules to sense the mobility of patients, attention modules to fuse the multi-input video data, and 3D convolutional layers to perform diagnosis from the attention-based extracted features. Experimental results over the collected Stroke-data dataset show that the proposed MAMAF-Net achieves a successful detection of stroke with 93.62% sensitivity and 95.33% AUC score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google