VSViG: Real-time Video-based Seizure Detection via Skeleton-based Spatiotemporal ViG

要約

正確かつ効率的なてんかん発作開始の検出は、患者に大きな利益をもたらします。
主に脳波 (EEG) に依存する従来の診断方法では、多くの場合、ソリューションが煩雑でポータブルではないため、継続的な患者モニタリングが困難になります。
ビデオベースの発作検出システムは、患者を頭皮や埋め込み型脳波計の制約から解放し、住宅環境での遠隔監視を可能にすることが期待されています。
以前のビデオベースの方法では、リソースが不十分で患者の行動認識技術が効果的ではないため、終日監視することも、検出遅延を短くすることもできません。
さらに、骨格ベースの動作認識アプローチでは、微妙な発作に関連した動作を識別するのに依然として限界があります。
これらの課題に対処するために、リアルタイム シナリオでの効率的、正確かつタイムリーな目的のために、スケルトン ベースの時空間ビジョン グラフ ニューラル ネットワーク (VSViG) を介した新しいビデオ ベースの発作検出モデルを提案します。
私たちの実験結果は、VSViG が、収集した患者のビデオ データに対して、精度が高く (誤差 5.9%)、FLOP が低く (0.4G)、モデル サイズが小さい (1.4M) という点で、以前の最先端の行動認識モデルよりも優れたパフォーマンスを示していることを示しています。
さらに、出力確率と累積関数を組み合わせた意思決定ルールを統合することにより、EEG 発症後の検出待ち時間 5.1 秒、臨床発症前の検出進み 13.1 秒、および誤検出率ゼロを達成しました。
プロジェクトのホームページは https://github.com/xuyankun/VSViG/ から入手できます。

要約(オリジナル)

An accurate and efficient epileptic seizure onset detection can significantly benefit patients. Traditional diagnostic methods, primarily relying on electroencephalograms (EEGs), often result in cumbersome and non-portable solutions, making continuous patient monitoring challenging. The video-based seizure detection system is expected to free patients from the constraints of scalp or implanted EEG devices and enable remote monitoring in residential settings. Previous video-based methods neither enable all-day monitoring nor provide short detection latency due to insufficient resources and ineffective patient action recognition techniques. Additionally, skeleton-based action recognition approaches remain limitations in identifying subtle seizure-related actions. To address these challenges, we propose a novel Video-based Seizure detection model via a skeleton-based spatiotemporal Vision Graph neural network (VSViG) for its efficient, accurate and timely purpose in real-time scenarios. Our experimental results indicate VSViG outperforms previous state-of-the-art action recognition models on our collected patients’ video data with higher accuracy (5.9% error), lower FLOPs (0.4G), and smaller model size (1.4M). Furthermore, by integrating a decision-making rule that combines output probabilities and an accumulative function, we achieve a 5.1 s detection latency after EEG onset, a 13.1 s detection advance before clinical onset, and a zero false detection rate. The project homepage is available at: https://github.com/xuyankun/VSViG/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google