Masked Transformer for Electrocardiogram Classification

要約

心電図 (ECG) は、臨床応用において最も重要な診断ツールの 1 つです。
高度なアルゴリズムの出現により、さまざまな深層学習モデルが ECG タスクに採用されています。
ただし、コンピューター ビジョンと自然言語処理で広く成功を収めているにもかかわらず、ECG データに対する Transformer の可能性は完全に実現されていません。
この研究では、ECG 分類における最近の最先端のアルゴリズムを大幅に上回る、シンプルかつ効果的な手法である、ECG 分類用の Masked Transformer (MTECG) を紹介します。
私たちのアプローチは、画像ベースのマスクされたオートエンコーダーを ECG 時系列からの自己教師あり表現学習に適応させます。
エンコーダーには軽量のトランスフォーマーを、デコーダーには 1 層のトランスフォーマーを使用します。
ECG 信号は、時間次元に沿って重複しないセグメントのシーケンスに分割され、連続した情報を保存するために学習可能な位置埋め込みが追加されます。
私たちは、Transformer の可能性を探るため、医療専門家によって注釈が付けられた幅広い診断を含む 220,251 件の ECG 記録で構成される Fuwai データセットを構築します。
強力な事前トレーニングと微調整のレシピが実証研究から提案されています。
実験では、提案された方法は代替方法と比較して、マクロ F1 スコアが Fuwai データセットで 3.4% ～ 27.5%、PTB-XL データセットで 9.9% ～ 32.0%、多施設データセットで 9.4% ～ 39.1% 増加することを示しています。
メソッド。
この研究が、より多くの ECG タスクへの Transformer の応用に関する将来の研究につながることを願っています。

要約(オリジナル)

Electrocardiogram (ECG) is one of the most important diagnostic tools in clinical applications. With the advent of advanced algorithms, various deep learning models have been adopted for ECG tasks. However, the potential of Transformer for ECG data has not been fully realized, despite their widespread success in computer vision and natural language processing. In this work, we present Masked Transformer for ECG classification (MTECG), a simple yet effective method which significantly outperforms recent state-of-the-art algorithms in ECG classification. Our approach adapts the image-based masked autoencoders to self-supervised representation learning from ECG time series. We utilize a lightweight Transformer for the encoder and a 1-layer Transformer for the decoder. The ECG signal is split into a sequence of non-overlapping segments along the time dimension, and learnable positional embeddings are added to preserve the sequential information. We construct the Fuwai dataset comprising 220,251 ECG recordings with a broad range of diagnoses, annotated by medical experts, to explore the potential of Transformer. A strong pre-training and fine-tuning recipe is proposed from the empirical study. The experiments demonstrate that the proposed method increases the macro F1 scores by 3.4%-27.5% on the Fuwai dataset, 9.9%-32.0% on the PTB-XL dataset, and 9.4%-39.1% on a multicenter dataset, compared to the alternative methods. We hope that this study could direct future research on the application of Transformer to more ECG tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google