CE-SSL: Computation-Efficient Semi-Supervised Learning for ECG-based Cardiovascular Diseases Detection

要約

ラベル不足の問題は、心電図検査 (ECG) を使用した自動心血管疾患 (CVD) 検出における深層学習システムの広範な適用を妨げる主な課題です。
事前トレーニングされたモデルを調整すると、大規模なデータセットから学習した知識が下流の小さなデータセットに転送されるため、この問題が軽減されます。
ただし、計算効率と検出パフォーマンスのボトルネックにより、臨床応用が制限されます。
モデルのトレーニング中の計算効率を大幅に犠牲にすることなく、検出パフォーマンスを向上させることは困難です。
ここでは、ECG を使用した堅牢で計算効率の高い CVD 検出のための、計算効率の高い半教師あり学習パラダイム (CE-SSL) を提案します。
これにより、制限された監視と高い計算効率で、事前トレーニングされたモデルを下流のデータセットに確実に適応させることができます。
まず、事前トレーニングされた重みの堅牢かつ高速な低ランク適応を達成するために、ランダム非アクティブ化手法が開発されます。
続いて、事前訓練された重みの更新行列の最適なランクを決定するためのワンショット ランク割り当てモジュールを提案します。
最後に、軽量の半教師あり学習パイプラインが導入され、高い計算効率でラベル付きデータとラベルなしデータを活用することでモデルのパフォーマンスが向上します。
4 つのダウンストリーム データセットに対する広範な実験により、CE-SSL がマルチラベル CVD 検出において最先端の方法を上回るパフォーマンスを発揮するだけでなく、消費する GPU フットプリント、トレーニング時間、パラメータ ストレージ スペースも少ないことが実証されました。
したがって、このパラダイムは、限られた監視の下で事前トレーニングされたモデルの臨床応用において高い計算効率と堅牢な検出パフォーマンスを達成するための効果的なソリューションを提供します。
コードと補足資料は https://github.com/KAZABANA/CE-SSL で入手できます。

要約(オリジナル)

The label scarcity problem is the main challenge that hinders the wide application of deep learning systems in automatic cardiovascular diseases (CVDs) detection using electrocardiography (ECG). Tuning pre-trained models alleviates this problem by transferring knowledge learned from large datasets to downstream small datasets. However, bottlenecks in computational efficiency and detection performance limit its clinical applications. It is difficult to improve the detection performance without significantly sacrificing the computational efficiency during model training. Here, we propose a computation-efficient semi-supervised learning paradigm (CE-SSL) for robust and computation-efficient CVDs detection using ECG. It enables a robust adaptation of pre-trained models on downstream datasets with limited supervision and high computational efficiency. First, a random-deactivation technique is developed to achieve robust and fast low-rank adaptation of pre-trained weights. Subsequently, we propose a one-shot rank allocation module to determine the optimal ranks for the update matrices of the pre-trained weights. Finally, a lightweight semi-supervised learning pipeline is introduced to enhance model performance by leveraging labeled and unlabeled data with high computational efficiency. Extensive experiments on four downstream datasets demonstrate that CE-SSL not only outperforms the state-of-the-art methods in multi-label CVDs detection but also consumes fewer GPU footprints, training time, and parameter storage space. As such, this paradigm provides an effective solution for achieving high computational efficiency and robust detection performance in the clinical applications of pre-trained models under limited supervision. Code and Supplementary Materials are available at https://github.com/KAZABANA/CE-SSL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google