Computation-Efficient Semi-Supervised Learning for ECG-based Cardiovascular Diseases Detection

要約

ラベル不足の問題は、心電図検査 (ECG) を使用した自動心血管疾患 (CVD) 検出における深層学習システムの広範な適用を妨げる主な課題です。
事前トレーニングされたモデルを調整すると、大規模なデータセットから学習した知識が下流の小さなデータセットに転送されるため、この問題が軽減されます。
ただし、計算効率と CVD 検出パフォーマンスのボトルネックにより、臨床応用が制限されます。
モデルの計算効率を大幅に犠牲にすることなく検出パフォーマンスを向上させることは困難です。
ここでは、ECG を使用した堅牢で計算効率の高い CVD 検出のための計算効率の高い半教師あり学習パラダイム (FastECG) を提案します。
これにより、制限された監視と高い計算効率で、事前トレーニングされたモデルを下流のデータセットに確実に適応させることができます。
まず、事前トレーニングされた重みの堅牢かつ高速な低ランク適応を達成するために、ランダム非アクティブ化手法が開発されます。
続いて、事前トレーニングされた重みの更新行列の最適なランクを決定するワンショット ランク割り当てモジュールを提案します。
最後に、軽量の半教師あり学習パイプラインが導入され、高い計算効率でラベル付きデータとラベルなしデータを活用することでモデルのパフォーマンスが向上します。
4 つの下流 ECG データセットに対する広範な実験により、FastECG がマルチラベル CVD 検出において最先端の方法を上回る性能を発揮するだけでなく、消費する GPU フットプリント、トレーニング時間、およびパラメータの保存スペースも少ないことが実証されました。
したがって、このパラダイムは、限られた監視の下で事前トレーニングされたモデルの臨床応用において高い計算効率と堅牢な検出パフォーマンスを達成するための効果的なソリューションを提供します。

要約(オリジナル)

Label scarcity problem is the main challenge that hinders the wide application of deep learning systems in automatic cardiovascular diseases (CVDs) detection using electrocardiography (ECG). Tuning pre-trained models alleviates this problem by transferring knowledge learned from large datasets to downstream small datasets. However, bottlenecks in computational efficiency and CVDs detection performance limit its clinical applications. It is difficult to improve the detection performance without significantly sacrificing model computational efficiency. Here, we propose a computation-efficient semi-supervised learning paradigm (FastECG) for robust and computation-efficient CVDs detection using ECG. It enables a robust adaptation of pre-trained models on downstream datasets with limited supervision and high computational efficiency. First, a random-deactivation technique is developed to achieve robust and fast low-rank adaptation of pre-trained weights. Subsequently, we propose a one-shot rank allocation module to determine the optimal ranks for the update matrices of the pre-trained weights. Finally, a lightweight semi-supervised learning pipeline is introduced to enhance model performance by leveraging labeled and unlabeled data with high computational efficiency. Extensive experiments on four downstream ECG datasets demonstrate that FastECG not only outperforms the state-of-the-art methods in multi-label CVDs detection but also consumes fewer GPU footprints, training time, and parameter storage space. As such, this paradigm provides an effective solution for achieving high computational efficiency and robust detection performance in the clinical applications of pre-trained models under limited supervision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google