sDREAMER: Self-distilled Mixture-of-Modality-Experts Transformer for Automatic Sleep Staging

要約

脳波（EEG）と筋電図（EMG）シグナルに基づく自動睡眠段階は、睡眠関連の研究の重要な側面です。
現在の睡眠段階的な方法は、2つの大きな欠点に悩まされています。
まず、既存の方法のモダリティ間には情報の相互作用が限られています。
第二に、現在の方法は、さまざまな入力ソースを処理できる統一モデルを開発しません。
これらの問題に対処するために、クロスモダリティの相互作用とチャネルごとのパフォーマンスを強調する新しい睡眠段階のスコアリングモデルSDreamerを提案します。
具体的には、EEG、EMG、および部分的に共有された重みを持つ混合信号の3つの経路を備えた混合モダリティ – エクスパー（MOME）モデルを開発します。
さらに、モダリティ全体の詳細な相互作用のために、自己抵抗トレーニングスキームを提案します。
モデルはマルチチャネル入力でトレーニングされており、シングルチャネルまたはマルチチャネル入力のいずれかで分類を行うことができます。
実験は、我々のモデルがマルチチャネル推論のための既存の変圧器ベースの睡眠スコアリング方法を上回ることを示しています。
シングルチャネル推論の場合、私たちのモデルは、シングルチャネル信号でトレーニングされた変圧器ベースのモデルも上回ります。

要約(オリジナル)

Automatic sleep staging based on electroencephalography (EEG) and electromyography (EMG) signals is an important aspect of sleep-related research. Current sleep staging methods suffer from two major drawbacks. First, there are limited information interactions between modalities in the existing methods. Second, current methods do not develop unified models that can handle different sources of input. To address these issues, we propose a novel sleep stage scoring model sDREAMER, which emphasizes cross-modality interaction and per-channel performance. Specifically, we develop a mixture-of-modality-expert (MoME) model with three pathways for EEG, EMG, and mixed signals with partially shared weights. We further propose a self-distillation training scheme for further information interaction across modalities. Our model is trained with multi-channel inputs and can make classifications on either single-channel or multi-channel inputs. Experiments demonstrate that our model outperforms the existing transformer-based sleep scoring methods for multi-channel inference. For single-channel inference, our model also outperforms the transformer-based models trained with single-channel signals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google