Predicting Stroke through Retinal Graphs and Multimodal Self-supervised Learning

要約

脳卒中を早期に特定することは介入にとって非常に重要であり、信頼できるモデルが必要です。
私たちは、新しい医学的洞察のために大規模なマルチモーダル データセットを活用して、心臓血管の健康状態の包括的な概要を把握するための臨床情報と併せて効率的な網膜画像表現を提案しました。
私たちのアプローチは、グラフと表形式のデータを統合する最初の対照的なフレームワークの 1 つであり、効率的な表現のために網膜画像から導出された血管グラフを使用します。
この方法をマルチモーダル対比学習と組み合わせると、複数のソースからのデータを統合し、転移学習に対比学習を使用することで、ストローク予測の精度が大幅に向上します。
採用されている自己教師あり学習手法により、モデルはラベルのないデータから効果的に学習できるため、大規模なアノテーション付きデータセットへの依存が軽減されます。
私たちのフレームワークでは、教師ありアプローチから自己教師ありアプローチへの AUROC の 3.78% の改善が示されました。
さらに、グラフレベルの表現アプローチにより、事前トレーニングと微調整の実行時間を大幅に短縮しながら、画像エンコーダーに対して優れたパフォーマンスを実現しました。
これらの発見は、網膜画像が心血管疾患の予測を改善するための費用対効果の高い方法であり、網膜と脳の血管の接続およびグラフベースの網膜血管表現の使用に関する将来の研究への道を開くことを示しています。

要約(オリジナル)

Early identification of stroke is crucial for intervention, requiring reliable models. We proposed an efficient retinal image representation together with clinical information to capture a comprehensive overview of cardiovascular health, leveraging large multimodal datasets for new medical insights. Our approach is one of the first contrastive frameworks that integrates graph and tabular data, using vessel graphs derived from retinal images for efficient representation. This method, combined with multimodal contrastive learning, significantly enhances stroke prediction accuracy by integrating data from multiple sources and using contrastive learning for transfer learning. The self-supervised learning techniques employed allow the model to learn effectively from unlabeled data, reducing the dependency on large annotated datasets. Our framework showed an AUROC improvement of 3.78% from supervised to self-supervised approaches. Additionally, the graph-level representation approach achieved superior performance to image encoders while significantly reducing pre-training and fine-tuning runtimes. These findings indicate that retinal images are a cost-effective method for improving cardiovascular disease predictions and pave the way for future research into retinal and cerebral vessel connections and the use of graph-based retinal vessel representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google