Prototype Learning for Out-of-Distribution Polyp Segmentation

要約

結腸内視鏡検査画像からの既存のポリープ セグメンテーション モデルは、さまざまなセンターからのデータセットに対して信頼性の高いセグメンテーション結果を提供できないことが多く、その適用性が制限されています。
この研究の目的は、ポリープのセグメンテーションを支援できる PrototypeLab という名前の、堅牢でよく一般化されたセグメンテーション モデルを作成することです。
これを達成するために、白色光イメージング (WLI)、青色光イメージング (BLI)、リンク カラー イメージング (LCI)、およびフレキシブル スペクトル イメージング カラー エンハンスメント (FICE) などのさまざまな照明モードを新しいセグメンテーション モデルに組み込みます。
画像内に存在するオブジェクトのクラスごとにプロトタイプを作成します。
これらのプロトタイプは、形状、質感、色などのオブジェクトの特徴を表します。
私たちのモデルは、複数のセンターからの配信外 (OOD) データセットに対して効果的に実行するように設計されています。
まず、メイン オブジェクト クラスのプロトタイプを学習するために使用される粗いマスクを生成し、その後、最終的なセグメンテーション マスクを生成するために使用されます。
プロトタイプを使用してメインクラスを表すことにより、プロトタイプがデータの基礎となる分布を捕捉するため、私たちのアプローチは医療画像に存在する変動性を処理し、新しいデータに適切に一般化します。
PrototypeLab は、ダイス係数 $\geq$ 90\% および mIoU $\geq$ 85\% を備え、ポリープ セグメンテーションのほぼリアルタイムの処理速度を備えた有望なソリューションを提供します。
16 の最先端の画像セグメンテーション アーキテクチャと比較して、OOD データセットで優れたパフォーマンスを達成し、臨床転帰を向上させる可能性があります。
コードは https://github.com/xxxxx/PrototypeLab で入手できます。

要約(オリジナル)

Existing polyp segmentation models from colonoscopy images often fail to provide reliable segmentation results on datasets from different centers, limiting their applicability. Our objective in this study is to create a robust and well-generalized segmentation model named PrototypeLab that can assist in polyp segmentation. To achieve this, we incorporate various lighting modes such as White light imaging (WLI), Blue light imaging (BLI), Linked color imaging (LCI), and Flexible spectral imaging color enhancement (FICE) into our new segmentation model, that learns to create prototypes for each class of object present in the images. These prototypes represent the characteristic features of the objects, such as their shape, texture, color. Our model is designed to perform effectively on out-of-distribution (OOD) datasets from multiple centers. We first generate a coarse mask that is used to learn prototypes for the main object class, which are then employed to generate the final segmentation mask. By using prototypes to represent the main class, our approach handles the variability present in the medical images and generalize well to new data since prototype capture the underlying distribution of the data. PrototypeLab offers a promising solution with a dice coefficient of $\geq$ 90\% and mIoU $\geq$ 85\% with a near real-time processing speed for polyp segmentation. It achieved superior performance on OOD datasets compared to 16 state-of-the-art image segmentation architectures, potentially improving clinical outcomes. Codes are available at https://github.com/xxxxx/PrototypeLab.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google