Few-Shot 3D Volumetric Segmentation with Multi-Surrogate Fusion

要約

従来の 3D 医用画像セグメンテーション方法では通常、過学習を避けるために、重い 3D ネットワーク (3D-UNet など) を学習するだけでなく、正確なピクセル/ボクセル レベルのラベルを持つ大量のドメイン内データを必要とします。
したがって、これらのソリューションは非常に時間と労力がかかるだけでなく、トレーニング中に目に見えないオブジェクトへの一般化に簡単に失敗する可能性があります。
この問題を軽減するために、軽量のマルチサロゲート フュージョン (MSF) を備えた新しい少数ショット 3D セグメンテーション フレームワークである MSFSeg を紹介します。
MSFSeg は、患者集団全体にわたる密なクエリサポートの臓器/病変の解剖学的相関関係を学習することにより、1 つまたは少数の注釈付き 2D スライスまたは 3D シーケンス セグメントを備えた未表示の 3D オブジェクト/臓器 (トレーニング中に) を自動的にセグメント化できます。
私たちが提案する MSF モジュールは、指定された複数のサロゲートを通じて、ラベルのないスライス/シーケンスと少数のラベル付きスライス/シーケンスの間の包括的で多様な形態相関をマイニングし、注釈付きのスライスまたはシーケンスが与えられた場合に正確なクロスドメイン 3D セグメンテーション マスクを生成できるようにします。
従来技術と比較して従来の少数ショットセグメンテーションベンチマークで優れたパフォーマンスを示し、困難なエンティティ、つまり管状構造の独自の3Dセグメンテーションデータセットで顕著なクロスドメインクロスボリュームセグメンテーションパフォーマンスを示すことで、提案したフレームワークの有効性を実証します。
限定された 2D または 3D ラベル。

要約(オリジナル)

Conventional 3D medical image segmentation methods typically require learning heavy 3D networks (e.g., 3D-UNet), as well as large amounts of in-domain data with accurate pixel/voxel-level labels to avoid overfitting. These solutions are thus extremely time- and labor-expensive, but also may easily fail to generalize to unseen objects during training. To alleviate this issue, we present MSFSeg, a novel few-shot 3D segmentation framework with a lightweight multi-surrogate fusion (MSF). MSFSeg is able to automatically segment unseen 3D objects/organs (during training) provided with one or a few annotated 2D slices or 3D sequence segments, via learning dense query-support organ/lesion anatomy correlations across patient populations. Our proposed MSF module mines comprehensive and diversified morphology correlations between unlabeled and the few labeled slices/sequences through multiple designated surrogates, making it able to generate accurate cross-domain 3D segmentation masks given annotated slices or sequences. We demonstrate the effectiveness of our proposed framework by showing superior performance on conventional few-shot segmentation benchmarks compared to prior art, and remarkable cross-domain cross-volume segmentation performance on proprietary 3D segmentation datasets for challenging entities, i.e., tubular structures, with only limited 2D or 3D labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google