FCN-Transformer Feature Fusion for Polyp Segmentation

要約

結腸内視鏡検査は、結腸直腸癌 (CRC) の早期発見のためのゴールド スタンダード手順として広く認識されています。
セグメンテーションは、病変の検出と分類という 2 つの重要な臨床アプリケーションに役立ち、精度と堅牢性を向上させる手段を提供します。
大腸内視鏡検査画像のポリープの手動セグメンテーションには時間がかかります。
その結果、ポリープ セグメンテーションの自動化にディープ ラーニング (DL) を使用することが重要になっています。
ただし、DL ベースのソリューションは、オーバーフィッティングに対して脆弱であり、その結果、さまざまな大腸内視鏡によってキャプチャされた画像を一般化できなくなります。
セマンティック セグメンテーション用の最近のトランスフォーマー ベースのアーキテクチャは、代替手段よりも高いパフォーマンスと一般化の両方を実現しますが、通常、$ の $\frac{h}{4}\times\frac{w}{4}$ 空間次元のセグメンテーション マップを予測します。
h\times w$ 入力画像。
この目的のために、フルサイズのセグメンテーションのための新しいアーキテクチャを提案します。これは、プライマリ ブランチでのセグメンテーションの最も重要な特徴を抽出する際にトランスフォーマーの強みを活用し、セカンダリの完全な畳み込みブランチでフルサイズの予測における制限を補います。
.
両方のブランチから得られた特徴は、$h\times w$ セグメンテーション マップの最終的な予測のために融合されます。
Kvasir-SEG と CVC-ClinicDB データセット ベンチマークの両方で、mDice、mIoU、mPrecision、および mRecall メトリックに関して、メソッドの最先端のパフォーマンスを示します。
さらに、これらの各データセットでモデルをトレーニングし、他のデータセットで評価して、その優れた汎化パフォーマンスを実証します。

要約(オリジナル)

Colonoscopy is widely recognised as the gold standard procedure for the early detection of colorectal cancer (CRC). Segmentation is valuable for two significant clinical applications, namely lesion detection and classification, providing means to improve accuracy and robustness. The manual segmentation of polyps in colonoscopy images is time-consuming. As a result, the use of deep learning (DL) for automation of polyp segmentation has become important. However, DL-based solutions can be vulnerable to overfitting and the resulting inability to generalise to images captured by different colonoscopes. Recent transformer-based architectures for semantic segmentation both achieve higher performance and generalise better than alternatives, however typically predict a segmentation map of $\frac{h}{4}\times\frac{w}{4}$ spatial dimensions for a $h\times w$ input image. To this end, we propose a new architecture for full-size segmentation which leverages the strengths of a transformer in extracting the most important features for segmentation in a primary branch, while compensating for its limitations in full-size prediction with a secondary fully convolutional branch. The resulting features from both branches are then fused for final prediction of a $h\times w$ segmentation map. We demonstrate our method’s state-of-the-art performance with respect to the mDice, mIoU, mPrecision, and mRecall metrics, on both the Kvasir-SEG and CVC-ClinicDB dataset benchmarks. Additionally, we train the model on each of these datasets and evaluate on the other to demonstrate its superior generalisation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google