Test-Time Generative Augmentation for Medical Image Segmentation

要約

この論文では、テスト中に医用画像のセグメンテーションを強化するための新しいアプローチを提案します。
入力テスト画像に対して手作りの変換や関数を使用してテスト時の拡張用に複数のビューを作成する代わりに、安定拡散 (SD) などの高度なドメイン微調整生成モデル (GM) の利用を推奨します。
、テスト時の拡張用。
GM が包括的なドメイン データの知識を理解し、カプセル化するように訓練されているとすると、データの特性と分布を表すという点でセグメンテーション モデルよりも優れています。
したがって、GM をテスト時の拡張に統合することで、サンプルの内容と外観の特徴、および関連するローカル データ分布に合わせて、特定のテスト サンプルの複数のビューを効果的に生成できます。
このアプローチにより、従来の手作りの変換と比較して、拡張プロセスの適応性と回復力が向上します。
3 つの医療画像セグメンテーション タスク (9 つのデータセット) にわたって行われた包括的な実験により、セグメンテーションの結果を向上させる際の提案された TTGA の有効性と多用途性が実証されました。
さらに、TTGA はピクセル単位の誤差推定を大幅に改善し、より信頼性の高いセグメンテーション システムの展開を容易にします。
コードは https://github.com/maxiao0234/TTGA でリリースされます。

要約(オリジナル)

In this paper, we propose a novel approach to enhance medical image segmentation during test time. Instead of employing hand-crafted transforms or functions on the input test image to create multiple views for test-time augmentation, we advocate for the utilization of an advanced domain-fine-tuned generative model (GM), e.g., stable diffusion (SD), for test-time augmentation. Given that the GM has been trained to comprehend and encapsulate comprehensive domain data knowledge, it is superior than segmentation models in terms of representing the data characteristics and distribution. Hence, by integrating the GM into test-time augmentation, we can effectively generate multiple views of a given test sample, aligning with the content and appearance characteristics of the sample and the related local data distribution. This approach renders the augmentation process more adaptable and resilient compared to conventional handcrafted transforms. Comprehensive experiments conducted across three medical image segmentation tasks (nine datasets) demonstrate the efficacy and versatility of the proposed TTGA in enhancing segmentation outcomes. Moreover, TTGA significantly improves pixel-wise error estimation, thereby facilitating the deployment of a more reliable segmentation system. Code will be released at: https://github.com/maxiao0234/TTGA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google