Rethinking Annotation Granularity for Overcoming Shortcuts in Deep Learning-based Radiograph Diagnosis: A Multicenter Study

要約

X線写真レベルのアノテーション(病気の有無)と病変レベルの細かいアノテーション(病変の境界ボックス)を用いて2つのDLモデルを開発し、それぞれCheXNetとCheXDetと名付けた。モデルの内部分類性能と病変位置特定性能をテストセット(n=2,922)で、外部分類性能をNIH-Google(n=4,376)およびPadChest(n=24,536)データセットで、外部病変位置特定性能をNIH-ChestX-ray14データセット(n=880)において比較検討した。また、内部テストセットのサブセット(n=496)で放射線科医とモデルを比較した。十分なトレーニングデータがあれば、両モデルとも放射線科医と同等のパフォーマンスを示した。CheXDetは、NIH-Googleでの骨折の分類(CheXDet AUC: 0.67, CheXNet AUC: 0.51; p<.001)やPadChest(CheXDet AUC: 0.78, CheXNet AUC: 0.55; p<.001)など、外部分類において著しい改善を遂げた。CheXDetは,すべてのデータセットにおいてCheXNetよりも高い病変検出性能を示した.例えば,内部セットにおける気胸の検出では(CheXDet Jacknife alternative free-response ROC-figure of merit [JAFROC-FOM]:0.87, CheXNet JAFROC-FOM: 0.13; p<.001),NIH-ChestX-ray14(CheXDet JAFROC-FOM: 0.55, CheXNet JAFROC-FOM: 0.04; p<.001) のように,内部セットで気胸を検出することができた.要約すると、きめ細かいアノテーションはショートカット学習を克服し、DLモデルによる正しい病変パターンの識別を可能にし、モデルの汎化性を向上させることができた。

要約(オリジナル)

Two DL models were developed using radiograph-level annotations (yes or no disease) and fine-grained lesion-level annotations (lesion bounding boxes), respectively named CheXNet and CheXDet. The models’ internal classification performance and lesion localization performance were compared on a testing set (n=2,922), external classification performance was compared on NIH-Google (n=4,376) and PadChest (n=24,536) datasets, and external lesion localization performance was compared on NIH-ChestX-ray14 dataset (n=880). The models were also compared to radiologists on a subset of the internal testing set (n=496). Given sufficient training data, both models performed comparably to radiologists. CheXDet achieved significant improvement for external classification, such as in classifying fracture on NIH-Google (CheXDet area under the ROC curve [AUC]: 0.67, CheXNet AUC: 0.51; p<.001) and PadChest (CheXDet AUC: 0.78, CheXNet AUC: 0.55; p<.001). CheXDet achieved higher lesion detection performance than CheXNet for most abnormalities on all datasets, such as in detecting pneumothorax on the internal set (CheXDet jacknife alternative free-response ROC-figure of merit [JAFROC-FOM]: 0.87, CheXNet JAFROC-FOM: 0.13; p<.001) and NIH-ChestX-ray14 (CheXDet JAFROC-FOM: 0.55, CheXNet JAFROC-FOM: 0.04; p<.001). To summarize, fine-grained annotations overcame shortcut learning and enabled DL models to identify correct lesion patterns, improving the models' generalizability.

arxiv情報

著者 Luyang Luo,Hao Chen,Yongjie Xiao,Yanning Zhou,Xi Wang,Varut Vardhanabhuti,Mingxiang Wu,Chu Han,Zaiyi Liu,Xin Hao Benjamin Fang,Efstratios Tsougenis,Huangjing Lin,Pheng-Ann Heng
発行日 2022-08-04 17:34:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CV, eess.IV パーマリンク