DG-TTA: Out-of-domain Medical Image Segmentation through Augmentation and Descriptor-driven Domain Generalization and Test-Time Adaptation

要約

目的：ドメイン外画像に事前に訓練された医療ディープラーニングセグメンテーションモデルを適用すると、品質が不十分な予測が得られることがよくあります。
この研究では、強力な一般化記述子を使用して増強とともに使用して、ドメイン系統のトレーニング前およびテスト時間適応を可能にし、目に見えないドメインで高品質のセグメンテーションを達成することを提案します。
材料と方法：このレトロスペクティブ研究では、3D CTおよびMRI画像を含む5つの異なる公開データセット（2012〜2022）を使用して、ドメイン外シナリオのセグメンテーションパフォーマンスを評価します。
設定には、腹部、脊椎、心臓イメージングが含まれます。
データは、トレーニングおよびテストサンプルにランダムに分割されます。
ソースデータ上のドメインジェネラル化前トレーニングは、ターゲットドメインで最高の初期パフォーマンスを取得するために使用されます。
最適な一般化のために、一般化SSC記述子とジン強度増強の組み合わせを紹介します。
その後、テスト時にセグメンテーションの結果が最適化され、目に見えないスキャンごとに事前に訓練されたモデルを、同じ増強監督装置の組み合わせを使用して一貫性スキームで適応させることを提案します。
セグメンテーションは、サイコロの類似性とHausdorff距離を使用して評価され、Wilcoxon署名ランクテストで改善の重要性がテストされます。
結果：提案された一般化されたトレーニング前およびその後のテスト時間適応により、CTから腹部のMRIクロスドメイン予測（+46.2％および+28.2％DICE）、脊椎（+72.9％）、および心臓（+14.2％および+55.7％DICE）のシナリオ（P <0.001）のモデルパフォーマンスが大幅に向上します。 結論：私たちの方法により、コンパクトで効率的な方法論で、医療イメージソースとターゲットデータとブリッジドメインのギャップを最適で独立した使用法を可能にします。 オープンソースコードは、https：//github.com/multimodallearning/dg-ttaで入手可能です

要約(オリジナル)

Purpose: Applying pre-trained medical deep learning segmentation models on out-of-domain images often yields predictions of insufficient quality. In this study, we propose to use a powerful generalizing descriptor along with augmentation to enable domain-generalized pre-training and test-time adaptation, achieving high-quality segmentation in unseen domains. Materials and Methods: In this retrospective study five different publicly available datasets (2012 to 2022) including 3D CT and MRI images are used to evaluate segmentation performance in out-of-domain scenarios. The settings include abdominal, spine, and cardiac imaging. The data is randomly split into training and test samples. Domain-generalized pre-training on source data is used to obtain the best initial performance in the target domain. We introduce the combination of the generalizing SSC descriptor and GIN intensity augmentation for optimal generalization. Segmentation results are subsequently optimized at test time, where we propose to adapt the pre-trained models for every unseen scan with a consistency scheme using the same augmentation-descriptor combination. The segmentation is evaluated using Dice similarity and Hausdorff distance and the significance of improvements is tested with the Wilcoxon signed-rank test. Results: The proposed generalized pre-training and subsequent test-time adaptation improves model performance significantly in CT to MRI cross-domain prediction for abdominal (+46.2% and +28.2% Dice), spine (+72.9%), and cardiac (+14.2% and +55.7% Dice) scenarios (p<0.001). Conclusion: Our method enables optimal, independent usage of medical image source and target data and bridges domain gaps successfully with a compact and efficient methodology. Open-source code available at: https://github.com/multimodallearning/DG-TTA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google