An Empirical Analysis for Zero-Shot Multi-Label Classification on COVID-19 CT Scans and Uncurated Reports

要約

パンデミックにより、健康診断の増加により、放射線医学レポートを含む非構造化データの膨大なリポジトリが発生しました。
新型コロナウイルス感染症（COVID-19）の自動診断に関するこれまでの研究は、コンピューター断層撮影（CT）スキャンと比べて精度が低いにもかかわらず、主にX線画像に焦点を当てていた。
この研究では、病院からの非構造化データを活用し、CT スキャンによって提供されるきめ細かい詳細を利用して、対照的な視覚言語学習に基づいたゼロショットのマルチラベル分類を実行します。
私たちは人間の専門家と協力して、放射線科医が肺塞栓症を検出し、すりガラス状の混濁や硬化などの複雑な肺の詳細を特定するのに役立つ複数のゼロショット モデルの有効性を調査しています。
私たちの実証分析は、これまで医療マルチモーダル事前トレーニング文献では見落とされてきた、このようなきめの細かいタスクを対象とする可能なソリューションの概要を提供します。
私たちの調査は、非構造化データときめ細かいマルチラベル分類に関連するいくつかの課題に対処することにより、医用画像分析コミュニティの将来の進歩を約束します。

要約(オリジナル)

The pandemic resulted in vast repositories of unstructured data, including radiology reports, due to increased medical examinations. Previous research on automated diagnosis of COVID-19 primarily focuses on X-ray images, despite their lower precision compared to computed tomography (CT) scans. In this work, we leverage unstructured data from a hospital and harness the fine-grained details offered by CT scans to perform zero-shot multi-label classification based on contrastive visual language learning. In collaboration with human experts, we investigate the effectiveness of multiple zero-shot models that aid radiologists in detecting pulmonary embolisms and identifying intricate lung details like ground glass opacities and consolidations. Our empirical analysis provides an overview of the possible solutions to target such fine-grained tasks, so far overlooked in the medical multimodal pretraining literature. Our investigation promises future advancements in the medical image analysis community by addressing some challenges associated with unstructured data and fine-grained multi-label classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google