Radiomics-Guided Global-Local Transformer for Weakly Supervised Pathology Localization in Chest X-Rays

要約

自動化された医用画像分析のための深層学習手法が最近成功する前は、医師は手作りのラジオミック機能を使用して、医用画像の局所的なパッチを定量的に記述していました。
ただし、差別的なラジオミック機能の抽出は、正確な病理ローカリゼーションに依存しており、実際の設定では取得が困難です。
胸部 X 線からの疾患の分類と局在化の進歩にもかかわらず、多くのアプローチは臨床的に情報に基づいたドメイン知識を組み込むことができません。
これらの理由から、\textit{global} 画像情報を \textit{local} ナレッジガイド付きラジオミクス情報と融合させて、バウンディング ボックス注釈なしで正確な心肺病理ローカリゼーションと分類を提供する Radiomics-Guided Transformer (RGT) を提案します。
}。
RGT は、画像トランスフォーマー ブランチ、ラジオミクス トランスフォーマー ブランチ、および画像とラジオミクス情報を集約するフュージョン レイヤーで構成されます。
画像ブランチの学習した自己注意を使用して、RGT は、ラジオミクス ブランチによってさらに処理されるラジオミクス機能を計算するためのバウンディング ボックスを抽出します。
学習した画像と放射線の特徴は融合され、相互注意層を介して相互に作用します。
したがって、RGT は、画像レベルの疾患ラベルのみを使用して、正確な病理学的位置特定をブートストラップできる新しいエンドツーエンドのフィードバック ループを利用します。
NIH ChestXRay データセットの実験では、RGT が、監視が弱い疾患の位置特定 (さまざまな交差オーバーユニオンしきい値で平均 3.6\%) および分類 (受信者動作特性の下の平均領域で 1.1\%) で以前の研究よりも優れていることが示されています。
曲線）。
コードと事前トレーニング済みモデルを \url{https://github.com/VITA-Group/chext} で公開しています。

要約(オリジナル)

Before the recent success of deep learning methods for automated medical image analysis, practitioners used handcrafted radiomic features to quantitatively describe local patches of medical images. However, extracting discriminative radiomic features relies on accurate pathology localization, which is difficult to acquire in real-world settings. Despite advances in disease classification and localization from chest X-rays, many approaches fail to incorporate clinically-informed domain knowledge. For these reasons, we propose a Radiomics-Guided Transformer (RGT) that fuses \textit{global} image information with \textit{local} knowledge-guided radiomics information to provide accurate cardiopulmonary pathology localization and classification \textit{without any bounding box annotations}. RGT consists of an image Transformer branch, a radiomics Transformer branch, and fusion layers that aggregate image and radiomic information. Using the learned self-attention of its image branch, RGT extracts a bounding box for which to compute radiomic features, which are further processed by the radiomics branch; learned image and radiomic features are then fused and mutually interact via cross-attention layers. Thus, RGT utilizes a novel end-to-end feedback loop that can bootstrap accurate pathology localization only using image-level disease labels. Experiments on the NIH ChestXRay dataset demonstrate that RGT outperforms prior works in weakly supervised disease localization (by an average margin of 3.6\% over various intersection-over-union thresholds) and classification (by 1.1\% in average area under the receiver operating characteristic curve). We publicly release our codes and pre-trained models at \url{https://github.com/VITA-Group/chext}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google