SwinCheX: Multi-label classification on chest X-ray images with transformers

要約

胸部X線画像は様々な疾患の診断に利用され、また、膨大なデータセットを収集することができるため、ディープニューラルネットワークを用いた自動診断方法が専門家の間で注目されています。コンピュータビジョン分野では、分類問題で高い精度を得るために、ほとんどの手法でCNNをバックボーンとして使用しています。しかし、最近の研究により、自然言語処理においてデファクトとして確立された変換器が、ビジョンにおいても多くのCNNベースのモデルを凌駕することが示されている。本論文では、最先端の診断分類を実現するために、Swin Transformerをバックボーンにしたマルチラベル分類のディープモデルを提案する。これは、MLPとして知られる多層パーセプトロンをヘッドアーキテクチャに活用する。我々は、最も広く使用されている最大のX線データセットの一つである「Chest X-ray14」で我々のモデルを評価する。これは、14の有名な胸部疾患を持つ3万人以上の患者の10万枚以上の正面/背面画像から構成されている。このデータセットには、14種類の有名な胸部疾患患者3万人以上の正面・背面画像100,000枚が含まれている。我々のモデルは、頭部設定用にMLPの層数を変えてテストされ、それぞれがすべてのクラスで競争力のあるAUCスコアを達成した。胸部X線画像14を用いた包括的な実験では、3層の頭部が平均AUCスコア0.810と、従来のSOTAの平均AUC0.799と比較して、最先端の性能を達成することが示された。我々は、既存手法の公正なベンチマークを行うための実験設定を提案し、今後の研究の基礎とすることができる。最後に、提案手法が胸部の病理学的関連部位に着目していることを確認することで、結果のフォローアップを行った。

要約(オリジナル)

According to the considerable growth in the avail of chest X-ray images in diagnosing various diseases, as well as gathering extensive datasets, having an automated diagnosis procedure using deep neural networks has occupied the minds of experts. Most of the available methods in computer vision use a CNN backbone to acquire high accuracy on the classification problems. Nevertheless, recent researches show that transformers, established as the de facto method in NLP, can also outperform many CNN-based models in vision. This paper proposes a multi-label classification deep model based on the Swin Transformer as the backbone to achieve state-of-the-art diagnosis classification. It leverages Multi-Layer Perceptron, also known as MLP, for the head architecture. We evaluate our model on one of the most widely-used and largest x-ray datasets called ‘Chest X-ray14,’ which comprises more than 100,000 frontal/back-view images from over 30,000 patients with 14 famous chest diseases. Our model has been tested with several number of MLP layers for the head setting, each achieves a competitive AUC score on all classes. Comprehensive experiments on Chest X-ray14 have shown that a 3-layer head attains state-of-the-art performance with an average AUC score of 0.810, compared to the former SOTA average AUC of 0.799. We propose an experimental setup for the fair benchmarking of existing methods, which could be used as a basis for the future studies. Finally, we followed up our results by confirming that the proposed method attends to the pathologically relevant areas of the chest.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL