Fake It Till You Make It: Using Synthetic Data and Domain Knowledge for Improved Text-Based Learning for LGE Detection

要約

心臓LGE MRI画像からのハイパーエンハンスメントの検出は、重要な臨床専門知識を必要とする複雑なタスクです。
ディープラーニングベースのモデルでは、タスクに対して有望な結果が示されていますが、微細に分解された注釈を備えた大量のデータが必要です。
心臓MR研究用に生成された臨床報告には、存在するあらゆる傷跡の場所、範囲、病因を含む、豊富な臨床的に関連する情報が含まれています。
最近開発されたクリップベースのトレーニングにより、画像テキストペアを備えた事前処理モデルが可能になりますが、大量のデータと下流タスクでのさらなる微調整戦略が必要です。
この研究では、ドメイン知識に根ざしたさまざまな戦略を使用して、965人の患者の比較的小さな臨床コホートについて、臨床報告のテキストを使用してLGE検出のモデルをトレーニングします。
瘢痕画像と関連するテキストを体系的に作成することにより、合成データ増強を使用することにより、パフォーマンスを改善します。
さらに、空間機能とテキスト機能のより良い整合を可能にするために、解剖学に基づいた方法で画像の方向を標準化します。
また、キャプション損失を使用して、細粒の監督を可能にし、パフォーマンスに対するビジョンエンコーダーの事前排出の効果を調査します。
最後に、モデルの全体的なパフォーマンスへの各設計コンポーネントの貢献を解明するために、アブレーション研究が実施されます。

要約(オリジナル)

Detection of hyperenhancement from cardiac LGE MRI images is a complex task requiring significant clinical expertise. Although deep learning-based models have shown promising results for the task, they require large amounts of data with fine-grained annotations. Clinical reports generated for cardiac MR studies contain rich, clinically relevant information, including the location, extent and etiology of any scars present. Although recently developed CLIP-based training enables pretraining models with image-text pairs, it requires large amounts of data and further finetuning strategies on downstream tasks. In this study, we use various strategies rooted in domain knowledge to train a model for LGE detection solely using text from clinical reports, on a relatively small clinical cohort of 965 patients. We improve performance through the use of synthetic data augmentation, by systematically creating scar images and associated text. In addition, we standardize the orientation of the images in an anatomy-informed way to enable better alignment of spatial and text features. We also use a captioning loss to enable fine-grained supervision and explore the effect of pretraining of the vision encoder on performance. Finally, ablation studies are carried out to elucidate the contributions of each design component to the overall performance of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google