Seeing your sleep stage: cross-modal distillation from EEG to infrared video

要約

様々な疾患の診断には、睡眠段階の分類が不可欠である。しかし、既存の自動診断法の多くは、病院内のポリソムノグラフィ（PSG）装置で測定された脳波やその他の単一モード信号を用いており、高価で輸入品のため、家庭でのポイントオブケア・モニタリングには不向きである。本論文では、家庭での睡眠段階モニタリングを可能にするために、赤外線映像と脳波信号の関係を分析し、脳波信号から有用な知識を視覚信号に抽出し、赤外線映像を用いて睡眠段階を分類するという新しい課題を提案する。このアプリケーションのためのクロスモーダルなベンチマークを確立するために、我々は「赤外線映像と脳波による睡眠段階の確認」（$S^3VE$）と名付けた新しいデータセットを開発する。S^3VE$は、赤外線映像と脳波を同期させた睡眠段階分類のための大規模データセットで、105人の被験者と15万4573の映像クリップを含み、1100時間以上の長さを有しています。また、データセットだけでなく、脳波から赤外線映像の特徴量を抽出するための新しいクロスモーダル蒸留ベースラインモデル、構造考慮型コントラスト蒸留（SACD）についても貢献している。SACDは、我々の$S^3VE$と既存のクロスモーダル蒸留ベンチマークにおいて、最先端の性能を達成した。このベンチマークとベースライン手法はコミュニティに公開される予定です。今後、睡眠段階分類や、臨床信号・メディアから従来メディアへのクロスモーダル蒸留に注目が集まり、さらなる発展が期待されます。

要約(オリジナル)

It is inevitably crucial to classify sleep stage for the diagnosis of various diseases. However, existing automated diagnosis methods mostly adopt the ‘gold-standard’ lectroencephalogram (EEG) or other uni-modal sensing signal of the PolySomnoGraphy (PSG) machine in hospital, that are expensive, importable and therefore unsuitable for point-of-care monitoring at home. To enable the sleep stage monitoring at home, in this paper, we analyze the relationship between infrared videos and the EEG signal and propose a new task: to classify the sleep stage using infrared videos by distilling useful knowledge from EEG signals to the visual ones. To establish a solid cross-modal benchmark for this application, we develop a new dataset termed as Seeing your Sleep Stage via Infrared Video and EEG ($S^3VE$). $S^3VE$ is a large-scale dataset including synchronized infrared video and EEG signal for sleep stage classification, including 105 subjects and 154,573 video clips that is more than 1100 hours long. Our contributions are not limited to datasets but also about a novel cross-modal distillation baseline model namely the structure-aware contrastive distillation (SACD) to distill the EEG knowledge to infrared video features. The SACD achieved the state-of-the-art performances on both our $S^3VE$ and the existing cross-modal distillation benchmark. Both the benchmark and the baseline methods will be released to the community. We expect to raise more attentions and promote more developments in the sleep stage classification and more importantly the cross-modal distillation from clinical signal/media to the conventional media.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL