Interpretable Pre-Trained Transformers for Heart Time-Series Data

要約

デコーダー専用トランスフォーマーは、人気のある大規模言語モデルの生成事前トレーニング済みトランスフォーマー (GPT) シリーズのバックボーンです。
この研究では、同じフレームワークを周期的な心臓の時系列データに適用して、事前にトレーニングされた 2 つの汎用心臓モデル、つまり PPG-PT と ECG-PT を作成します。
このような事前トレーニングされたモデルは両方とも完全に解釈可能であることを実証します。
これはまず、モデルが予測を行うために以前の心周期の同様の点に焦点を当てていることを示す集合的な注意マップを通じて達成され、徐々にその注意をより深い層に広げます。
次に、ECG サイクルと PPG サイクルの異なる時点で発生する同じ値を持つトークンが、変圧器ブロックを通って伝播する際の位相に基づいて、高次元空間に個別のクラスターを形成します。
最後に、個々のアテンションヘッドが、PPG の二重切痕や ECG の P 波など、生理学的に関連する特定の特徴に反応することを強調します。
これらの事前トレーニング済みモデルは、心房細動の分類などのタスクに合わせて簡単に微調整できることも実証されています。
この特定の例では、微調整には 11 分のコンピューター時間がかかり、ECG と PPG でそれぞれ 0.99 と 0.93 の 1 被験者除外 AUC が達成されました。
重要なのは、これらの微調整されたモデルも完全に説明可能であり、心房細動を強く示すコンテキスト内の領域に注目が移ることです。

要約(オリジナル)

Decoder-only transformers are the backbone of the popular generative pre-trained transformer (GPT) series of large language models. In this work, we apply the same framework to periodic heart time-series data to create two pre-trained general purpose cardiac models, namely PPG-PT and ECG-PT. We demonstrate that both such pre-trained models are fully interpretable. This is achieved firstly through aggregate attention maps which show that the model focuses on similar points in previous cardiac cycles in order to make predictions and gradually broadens its attention in deeper layers. Next, tokens with the same value, that occur at different distinct points in the ECG and PPG cycle, form separate clusters in high dimensional space based on their phase as they propagate through the transformer blocks. Finally, we highlight that individual attention heads respond to specific physiologically relevent features, such as the dicrotic notch in PPG and the P-wave in ECG. It is also demonstrated that these pre-trained models can be easily fine-tuned for tasks such as classification of atrial fibrillation. In this specific example, the fine-tuning took 11 minutes of computer time, and achieved a leave-one-subject-out AUCs of 0.99 and 0.93 for ECG and PPG respectively. Importantly, these fine-tuned models are also fully explainable, with attention shifting to regions in the context that are strongly indicative of atrial fibrillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google