Swin transformers are robust to distribution and concept drift in endoscopy-based longitudinal rectal cancer assessment

要約

内視鏡画像は、がんのスクリーニング、診断、大腸炎などの治療からの反応と毒性を評価するための治療中の直腸癌治療のさまざまな段階で使用され、新しい腫瘍または局所再生（LR）を検出するためのフォローアップで使用されます。
ただし、主観的評価は非常に多様であり、一部の患者の反応の程度を過小評価し、不必要な手術にさらしたり、患者を病気の拡散のリスクにさらしたりする反応を過大評価する可能性があります。
深い学習の進歩により、内視鏡画像の一貫した客観的な応答評価を生成する能力が示されています。
ただし、患者の治療とフォローアップの全過程で癌、再成長、および監視対応を検出する方法は不足しています。
これは、自動化された診断と直腸癌反応評価には、内視鏡検査画像に存在する固有のイメージング照明の変動と交絡条件（血液、範囲、ぼやけ）に堅牢な方法、および治療中の通常の内腔と腫瘍の変化が必要な方法が必要なためです。
したがって、内視鏡検査画像を使用して直腸がんと正常な内腔を区別するために、階層シフトウィンドウ（SWIN）トランスを訓練しました。
SWINと2つの畳み込み（RESNET-50、wideresNet-50）、およびVision Transformer（VIT）モデルをトレーニングおよび評価して、プライベートデータセットと分散除外でLRを検出するために評価されました（OOD
）前/非癌性ポリープを検出するための公共大腸内視鏡検査データセット。
カラーシフトは、最適な輸送を使用して分布シフトをシミュレートしました。
SWINおよびResNetモデルは、分散データセットでも同様に正確でした。
SWINは、色のシフト（フォローアップ：0.83、OOD：0.87）の対象であっても、他の方法（フォローアップ：0.84、OOD：0.83）よりも正確でした。

要約(オリジナル)

Endoscopic images are used at various stages of rectal cancer treatment starting from cancer screening, diagnosis, during treatment to assess response and toxicity from treatments such as colitis, and at follow up to detect new tumor or local regrowth (LR). However, subjective assessment is highly variable and can underestimate the degree of response in some patients, subjecting them to unnecessary surgery, or overestimate response that places patients at risk of disease spread. Advances in deep learning has shown the ability to produce consistent and objective response assessment for endoscopic images. However, methods for detecting cancers, regrowth, and monitoring response during the entire course of patient treatment and follow-up are lacking. This is because, automated diagnosis and rectal cancer response assessment requires methods that are robust to inherent imaging illumination variations and confounding conditions (blood, scope, blurring) present in endoscopy images as well as changes to the normal lumen and tumor during treatment. Hence, a hierarchical shifted window (Swin) transformer was trained to distinguish rectal cancer from normal lumen using endoscopy images. Swin as well as two convolutional (ResNet-50, WideResNet-50), and vision transformer (ViT) models were trained and evaluated on follow-up longitudinal images to detect LR on private dataset as well as on out-of-distribution (OOD) public colonoscopy datasets to detect pre/non-cancerous polyps. Color shifts were applied using optimal transport to simulate distribution shifts. Swin and ResNet models were similarly accurate in the in-distribution dataset. Swin was more accurate than other methods (follow-up: 0.84, OOD: 0.83) even when subject to color shifts (follow-up: 0.83, OOD: 0.87), indicating capability to provide robust performance for longitudinal cancer assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google