Generalize Polyp Segmentation via Inpainting across Diverse Backgrounds and Pseudo-Mask Refinement

要約

異なる正常な背景内で病変を修復することは、ポリープ セグメンテーション モデルにとって重要な一般化問題に対処する潜在的な方法です。
しかし、複雑な内視鏡環境にポリープをシームレスに導入し、同時に正確な疑似マスクを生成することは、現在の修復方法にとって依然として課題です。
これらの問題に対処するために、まず事前トレーニング済みの Stable Diffusion Inpaint と ControlNet を活用して、さまざまな背景にわたってポリープを修復できる堅牢な生成モデルを導入します。
第二に、合成ポリープがペイントされた領域に限定されるという事前原理を利用して、ペイントされた領域に誘導された擬似マスク改良ネットワークを確立します。
また、モデルをさらに微調整するために、適切に調整されたハード合成ケースを優先するサンプル選択戦略も提案します。
実験では、修復モデルが修復品質において定性的にも定量的にもベースライン手法を上回っていることが実証されています。
さらに、当社のデータ拡張戦略は、外部データセットでのポリープ セグメンテーション モデルのパフォーマンスを大幅に向上させ、そのドメインにおける完全に監視されたトレーニング ベンチマークのレベルを達成または超えています。
コードは https://github.com/497662892/PolypInpainter で入手できます。

要約(オリジナル)

Inpainting lesions within different normal backgrounds is a potential method of addressing the generalization problem, which is crucial for polyp segmentation models. However, seamlessly introducing polyps into complex endoscopic environments while simultaneously generating accurate pseudo-masks remains a challenge for current inpainting methods. To address these issues, we first leverage the pre-trained Stable Diffusion Inpaint and ControlNet, to introduce a robust generative model capable of inpainting polyps across different backgrounds. Secondly, we utilize the prior that synthetic polyps are confined to the inpainted region, to establish an inpainted region-guided pseudo-mask refinement network. We also propose a sample selection strategy that prioritizes well-aligned and hard synthetic cases for further model fine-tuning. Experiments demonstrate that our inpainting model outperformed baseline methods both qualitatively and quantitatively in inpainting quality. Moreover, our data augmentation strategy significantly enhances the performance of polyp segmentation models on external datasets, achieving or surpassing the level of fully supervised training benchmarks in that domain. Our code is available at https://github.com/497662892/PolypInpainter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google