Rethinking Annotation Granularity for Overcoming Shortcuts in Deep Learning-based Radiograph Diagnosis: A Multicenter Study

要約

X線写真レベルのアノテーション（病気の有無）と病変レベルの細かいアノテーション（病変の境界ボックス）を用いて2つのDLモデルを開発し、それぞれCheXNetとCheXDetと名付けた。モデルの内部分類性能と病変位置特定性能をテストセット（n=2,922）で、外部分類性能をNIH-Google（n=4,376）およびPadChest（n=24,536）データセットで、外部病変位置特定性能をNIH-ChestX-ray14データセット（n=880）において比較検討した。また、内部テストセットのサブセット(n=496)で放射線科医とモデルを比較した。十分なトレーニングデータがあれば、両モデルとも放射線科医と同程度のパフォーマンスを示した。CheXDetは、NIH-Googleでの骨折の分類（CheXDet AUC: 0.67, CheXNet AUC: 0.51; p<.001）やPadChest（CheXDet AUC: 0.78, CheXNet AUC: 0.55; p<.001）など、外部分類において著しい改善を遂げた。CheXDetは，すべてのデータセットにおいてCheXNetよりも高い病変検出性能を示した．例えば，内部セットにおける気胸の検出では（CheXDet Jacknife alternative free-response ROC-figure of merit [JAFROC-FOM]:0.87, CheXNet JAFROC-FOM: 0.13; p<.001），NIH-ChestX-ray14（CheXDet JAFROC-FOM: 0.55, CheXNet JAFROC-FOM: 0.04; p<.001） のように，内部セットで気胸を検出することができた．要約すると、きめ細かいアノテーションはショートカット学習を克服し、DLモデルによる正しい病変パターンの識別を可能にし、モデルの汎化性を向上させることができた。

要約(オリジナル)

Two DL models were developed using radiograph-level annotations (yes or no disease) and fine-grained lesion-level annotations (lesion bounding boxes), respectively named CheXNet and CheXDet. The models’ internal classification performance and lesion localization performance were compared on a testing set (n=2,922), external classification performance was compared on NIH-Google (n=4,376) and PadChest (n=24,536) datasets, and external lesion localization performance was compared on NIH-ChestX-ray14 dataset (n=880). The models were also compared to radiologists on a subset of the internal testing set (n=496). Given sufficient training data, both models performed comparably to radiologists. CheXDet achieved significant improvement for external classification, such as in classifying fracture on NIH-Google (CheXDet area under the ROC curve [AUC]: 0.67, CheXNet AUC: 0.51; p<.001) and PadChest (CheXDet AUC: 0.78, CheXNet AUC: 0.55; p<.001). CheXDet achieved higher lesion detection performance than CheXNet for most abnormalities on all datasets, such as in detecting pneumothorax on the internal set (CheXDet jacknife alternative free-response ROC-figure of merit [JAFROC-FOM]: 0.87, CheXNet JAFROC-FOM: 0.13; p<.001) and NIH-ChestX-ray14 (CheXDet JAFROC-FOM: 0.55, CheXNet JAFROC-FOM: 0.04; p<.001). To summarize, fine-grained annotations overcame shortcut learning and enabled DL models to identify correct lesion patterns, improving the models' generalizability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL