Generalizability Under Sensor Failure: Tokenization + Transformers Enable More Robust Latent Spaces

要約

神経科学の主な目標は、一般化する神経データ表現を発見することです。
この目標は、とりわけ、記録セッション（環境など）、被験者（神経構造の変化など）、センサー（センサーのノイズなど）に伴う変動によって課題となっています。
最近の研究は、セッションや被験者全体にわたる一般化に取り組み始めていますが、神経科学実験で非常に一般的であるセンサー障害に対する堅牢性を研究しているものはほとんどありません。
これらの一般化可能性の側面に対処するために、私たちはまず多数のセッション、被験者、センサーを含む独自の脳波データセットを収集し、次にEEGNet (Lawhern et al., 2018) と TOTEM (Talukder et al., 2024) の 2 つの時系列モデルを研究します。
EEGNet は広く使用されている畳み込みニューラル ネットワークですが、TOTEM は離散時系列トークナイザーおよび変換モデルです。
TOTEM は、すべての一般化可能性のケースにおいて EEGNet より優れている、または EEGNet と同等であることがわかりました。
最後に、TOTEM の潜在コードブックの分析を通じて、トークン化によって一般化が可能になることがわかりました。

要約(オリジナル)

A major goal in neuroscience is to discover neural data representations that generalize. This goal is challenged by variability along recording sessions (e.g. environment), subjects (e.g. varying neural structures), and sensors (e.g. sensor noise), among others. Recent work has begun to address generalization across sessions and subjects, but few study robustness to sensor failure which is highly prevalent in neuroscience experiments. In order to address these generalizability dimensions we first collect our own electroencephalography dataset with numerous sessions, subjects, and sensors, then study two time series models: EEGNet (Lawhern et al., 2018) and TOTEM (Talukder et al., 2024). EEGNet is a widely used convolutional neural network, while TOTEM is a discrete time series tokenizer and transformer model. We find that TOTEM outperforms or matches EEGNet across all generalizability cases. Finally through analysis of TOTEM’s latent codebook we observe that tokenization enables generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google