Cooperation Learning Enhanced Colonic Polyp Segmentation Based on Transformer-CNN Fusion

要約

結腸ポリープの従来のセグメンテーション方法は、主に低レベルの機能に基づいて設計されています。
小さな結腸ポリープの位置を正確に抽出できませんでした。
既存の深層学習手法はセグメンテーションの精度を向上させることができますが、その効果はまだ満足のいくものではありません。
上記の課題に対応するために、この研究では Fusion-Transformer-HardNetMSEG (つまり、Fu-TransHNet) と呼ばれるハイブリッド ネットワークを提案します。
Fu-TransHNet は、さまざまなメカニズムのディープ ラーニングを使用して相互に融合し、マルチビューの共同学習技術で強化されています。
まず、Fu-TransHNet は Transformer ブランチと CNN ブランチを利用して、グローバルな特徴学習とローカルな特徴学習をそれぞれ実現します。
次に、フュージョン モジュールは、2 つのブランチの機能を統合するように設計されています。
Fusion モジュールは、1) Global-Local Feature Fusion (GLFF) 部分と 2) Dense Fusion of Multi-scale features (DFM) 部分の 2 つの部分で構成されます。
前者は、同じ規模の 2 つの分岐から特徴情報ミッションを補うために構築されています。
後者は、機能表現を強化するために構築されています。
第 3 に、上記の 2 つの分岐と融合モジュールは、マルチビュー協調学習手法を利用して、それらの重要性を示すそれぞれの重みを取得し、総合的に最終決定を下します。
実験結果は、広く使用されている 5 つのベンチマーク データセットで、Fu-TransHNet ネットワークが既存の方法よりも優れていることを示しました。
特に、多くの小さなターゲット結腸ポリープを含む ETIS-LaribPolypDB データセットでは、Fu-TransHNet によって得られた mDice は、最先端の方法である HardNet-MSEG および TransFuse-s よりもそれぞれ 12.4% および 6.2% 高かった
.

要約(オリジナル)

Traditional segmentation methods for colonic polyps are mainly designed based on low-level features. They could not accurately extract the location of small colonic polyps. Although the existing deep learning methods can improve the segmentation accuracy, their effects are still unsatisfied. To meet the above challenges, we propose a hybrid network called Fusion-Transformer-HardNetMSEG (i.e., Fu-TransHNet) in this study. Fu-TransHNet uses deep learning of different mechanisms to fuse each other and is enhanced with multi-view collaborative learning techniques. Firstly, the Fu-TransHNet utilizes the Transformer branch and the CNN branch to realize the global feature learning and local feature learning, respectively. Secondly, a fusion module is designed to integrate the features from two branches. The fusion module consists of two parts: 1) the Global-Local Feature Fusion (GLFF) part and 2) the Dense Fusion of Multi-scale features (DFM) part. The former is built to compensate the feature information mission from two branches at the same scale; the latter is constructed to enhance the feature representation. Thirdly, the above two branches and fusion modules utilize multi-view cooperative learning techniques to obtain their respective weights that denote their importance and then make a final decision comprehensively. Experimental results showed that the Fu-TransHNet network was superior to the existing methods on five widely used benchmark datasets. In particular, on the ETIS-LaribPolypDB dataset containing many small-target colonic polyps, the mDice obtained by Fu-TransHNet were 12.4% and 6.2% higher than the state-of-the-art methods HardNet-MSEG and TransFuse-s, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google