DrasCLR: A Self-supervised Framework of Learning Disease-related and Anatomy-specific Representation for 3D Medical Images

要約

注釈付きの大規模なボリュメトリック医療画像は、まれであり、費用がかかり、取得に時間がかかります。
自己教師あり学習 (SSL) は、ラベル付けされていないデータのみを使用するため、多くのダウンストリーム タスクに対して有望な事前トレーニングおよび特徴抽出ソリューションを提供します。
最近、インスタンス識別に基づく SSL 方式が医用画像領域で人気を博しています。
ただし、SSL の事前トレーニング済みエンコーダーは、画像内の多くの手がかりを使用して、必ずしも疾患に関連していないインスタンスを識別する場合があります。
さらに、病理学的パターンはしばしば微妙で不均一であり、さまざまな身体部分の異常な変化に敏感な解剖学固有の特徴を表現する目的の方法の能力が必要です。
この作業では、これらの課題を克服するための 3D 医用画像処理用の DrasCLR という名前の新しい SSL フレームワークを紹介します。
2 つのドメイン固有の対照的な学習戦略を提案します: 1 つは、局所的な解剖学的領域内の微妙な疾患パターンをキャプチャすることを目的とし、もう 1 つは、より大きな領域にまたがる重度の疾患パターンを表すことを目的としています。
パラメーターが解剖学的位置に依存する条件付きハイパーパラメーター化ネットワークを使用してエンコーダーを定式化し、解剖学的に敏感な特徴を抽出します。
肺画像の大規模なコンピューター断層撮影 (CT) データセットに関する広範な実験は、我々 の方法が多くの下流の予測とセグメンテーション タスクのパフォーマンスを向上させることを示しています。
患者レベルの表現により、患者の生存予測タスクのパフォーマンスが向上します。
私たちの方法が密な予測を介して肺気腫のサブタイプを検出する方法を示します。
事前トレーニング済みのモデルを微調整することで、肺気腫の検出精度を犠牲にすることなく、注釈の労力を大幅に削減できることを示しています。
私たちのアブレーション研究は、SSL フレームワークに解剖学的コンテキストを組み込むことの重要性を強調しています。

要約(オリジナル)

Large-scale volumetric medical images with annotation are rare, costly, and time prohibitive to acquire. Self-supervised learning (SSL) offers a promising pre-training and feature extraction solution for many downstream tasks, as it only uses unlabeled data. Recently, SSL methods based on instance discrimination have gained popularity in the medical imaging domain. However, SSL pre-trained encoders may use many clues in the image to discriminate an instance that are not necessarily disease-related. Moreover, pathological patterns are often subtle and heterogeneous, requiring the ability of the desired method to represent anatomy-specific features that are sensitive to abnormal changes in different body parts. In this work, we present a novel SSL framework, named DrasCLR, for 3D medical imaging to overcome these challenges. We propose two domain-specific contrastive learning strategies: one aims to capture subtle disease patterns inside a local anatomical region, and the other aims to represent severe disease patterns that span larger regions. We formulate the encoder using conditional hyper-parameterized network, in which the parameters are dependant on the anatomical location, to extract anatomically sensitive features. Extensive experiments on large-scale computer tomography (CT) datasets of lung images show that our method improves the performance of many downstream prediction and segmentation tasks. The patient-level representation improves the performance of the patient survival prediction task. We show how our method can detect emphysema subtypes via dense prediction. We demonstrate that fine-tuning the pre-trained model can significantly reduce annotation efforts without sacrificing emphysema detection accuracy. Our ablation study highlights the importance of incorporating anatomical context into the SSL framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google