An Attention Based Pipeline for Identifying Pre-Cancer Lesions in Head and Neck Clinical Images

要約

がんの早期発見は、早期介入によって患者の予後を改善するのに役立つ。頭頸部癌は、外科的生検の後に専門センターで診断されるが、診断の遅れにつながる見逃しの可能性がある。これらの課題を克服するために、我々は、疑われる病変、セグメントを識別し、それらを非異形成、異形成、および癌性病変として分類する、注意に基づくパイプラインを提示する。(a)臨床画像の病変検出とセグメンテーションのためのマスクR-CNNネットワークに基づく視覚変換器と、(b)分類のための多重インスタンス学習(MIL)に基づくスキームを提案する。現在の結果では、このセグメンテーションモデルは、セグメンテーションマスクとバウンディングボックスを生成し、未見の外部テストデータにおいて最大82％のオーバーラップ精度を示し、レビューされたセグメンテーションベンチマークを上回る。次に、内部コホートテストセットで85％の分類F1スコアを達成した。スマートデバイスを介して撮影された病変のセグメンテーションを実行するためのアプリが開発された。将来的には、正確な早期発見と予後のために内視鏡ビデオデータを採用する予定である。

要約(オリジナル)

Early detection of cancer can help improve patient prognosis by early intervention. Head and neck cancer is diagnosed in specialist centres after a surgical biopsy, however, there is a potential for these to be missed leading to delayed diagnosis. To overcome these challenges, we present an attention based pipeline that identifies suspected lesions, segments, and classifies them as non-dysplastic, dysplastic and cancerous lesions. We propose (a) a vision transformer based Mask R-CNN network for lesion detection and segmentation of clinical images, and (b) Multiple Instance Learning (MIL) based scheme for classification. Current results show that the segmentation model produces segmentation masks and bounding boxes with up to 82% overlap accuracy score on unseen external test data and surpassing reviewed segmentation benchmarks. Next, a classification F1-score of 85% on the internal cohort test set. An app has been developed to perform lesion segmentation taken via a smart device. Future work involves employing endoscopic video data for precise early detection and prognosis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL