Automated Cardiovascular Record Retrieval by Multimodal Learning between Electrocardiogram and Clinical Report

要約

心電図（ECG）の自動解釈は、機械学習手法の進歩とともに大きな注目を集めている。このような関心の高まりにもかかわらず、現在の研究のほとんどは、分類や回帰タスクにのみ焦点を当てており、臨床心疾患診断の重要な側面、すなわち経験豊富な臨床医が作成する診断レポートを見落としている。本論文では、大規模言語モデル（LLM）と視覚変換（ViT）モデルの最近のブレークスルーを活用した、ECG解釈への新しいアプローチを紹介する。心電図診断を分類や回帰タスクとして扱うのではなく、入力された心電図データに基づいて、最も類似した臨床例を自動的に特定する方法を提案する。また、心電図を画像として解釈する方が手頃でアクセスしやすいため、心電図を符号化された画像として処理し、符号化された心電図画像と心電図診断レポートの間の視覚言語アライメントを共同で学習する視覚言語学習パラダイムを採用する。心電図を画像に符号化することで、効率的な心電図検索システムを実現することができ、臨床応用において非常に実用的で有用である。さらに重要なこととして、我々の研究成果は、低開発地域で診断サービスを提供するための重要なリソースとして役立つ可能性がある。

要約(オリジナル)

Automated interpretation of electrocardiograms (ECG) has garnered significant attention with the advancements in machine learning methodologies. Despite the growing interest, most current studies focus solely on classification or regression tasks, which overlook a crucial aspect of clinical cardio-disease diagnosis: the diagnostic report generated by experienced human clinicians. In this paper, we introduce a novel approach to ECG interpretation, leveraging recent breakthroughs in Large Language Models (LLMs) and Vision-Transformer (ViT) models. Rather than treating ECG diagnosis as a classification or regression task, we propose an alternative method of automatically identifying the most similar clinical cases based on the input ECG data. Also, since interpreting ECG as images is more affordable and accessible, we process ECG as encoded images and adopt a vision-language learning paradigm to jointly learn vision-language alignment between encoded ECG images and ECG diagnosis reports. Encoding ECG into images can result in an efficient ECG retrieval system, which will be highly practical and useful in clinical applications. More importantly, our findings could serve as a crucial resource for providing diagnostic services in underdeveloped regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL