CiTrus: Squeezing Extra Performance out of Low-data Bio-signal Transfer Learning

要約

生体信号の転移学習は、最近、小さな生体信号データセットを使用する下流タスクの予測パフォーマンスを向上させる重要な手法となっています。
最近の研究では、自己教師ありタスクを使用して大規模なデータセット (EEG など) 上でニューラル ネットワーク モデルを事前トレーニングし、自己教師ありヘッドを線形分類ヘッドに置き換え、さまざまな下流の生体情報に基づいてモデルを微調整することが示されています。
信号データセット (EMG や ECG など) は、それらのデータセットのパフォーマンスを劇的に向上させることができます。
この論文では、低データ生体信号伝達学習用のマスクされた自動エンコーディングを備えた新しい畳み込みトランスフォーマー ハイブリッド モデル アーキテクチャを提案し、周波数ベースのマスクされた自動エンコーディング タスクを導入し、より包括的な評価フレームワークを採用し、どのように評価するかを評価します。
(マルチモーダル) 事前トレーニングにより、パフォーマンスの微調整が大幅に向上します。
また、時間長とサンプリング レートが異なる下流データセットを元の事前トレーニング データセットと調整する、劇的にパフォーマンスの高い方法も紹介します。
私たちの調査結果は、ハイブリッド モデルの畳み込みのみの部分が、一部の低データの下流タスクで最先端のパフォーマンスを達成できることを示しています。
フルモデルを使用すると、パフォーマンスがさらに向上することがよくあります。
トランスフォーマーベースのモデルの場合、事前トレーニングによって特に下流のデータセットのパフォーマンスが向上し、マルチモーダル事前トレーニングによってこれらのゲインがさらに向上することが多く、周波数ベースの事前トレーニングは最低および最高のデータに対して平均して最高のパフォーマンスを発揮することがわかりました。
体制。

要約(オリジナル)

Transfer learning for bio-signals has recently become an important technique to improve prediction performance on downstream tasks with small bio-signal datasets. Recent works have shown that pre-training a neural network model on a large dataset (e.g. EEG) with a self-supervised task, replacing the self-supervised head with a linear classification head, and fine-tuning the model on different downstream bio-signal datasets (e.g., EMG or ECG) can dramatically improve the performance on those datasets. In this paper, we propose a new convolution-transformer hybrid model architecture with masked auto-encoding for low-data bio-signal transfer learning, introduce a frequency-based masked auto-encoding task, employ a more comprehensive evaluation framework, and evaluate how much and when (multimodal) pre-training improves fine-tuning performance. We also introduce a dramatically more performant method of aligning a downstream dataset with a different temporal length and sampling rate to the original pre-training dataset. Our findings indicate that the convolution-only part of our hybrid model can achieve state-of-the-art performance on some low-data downstream tasks. The performance is often improved even further with our full model. In the case of transformer-based models we find that pre-training especially improves performance on downstream datasets, multimodal pre-training often increases those gains further, and our frequency-based pre-training performs the best on average for the lowest and highest data regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google