DG-TTA: Out-of-domain medical image segmentation through Domain Generalization and Test-Time Adaptation

要約

事前にトレーニングされた医療セグメンテーション モデルをドメイン外の画像に適用すると、予測品質が不十分になることがよくあります。
モデルのパフォーマンスを維持するために、微調整や教師なしおよびソースフリーのドメイン適応など、いくつかの戦略が提案されています。
これらの戦略は、データの可用性に対する制限的な要件を設定します。
この研究では、ドメインの一般化とテスト時の適応を組み合わせて、目に見えないターゲット ドメインで事前トレーニングされたモデルを再利用するための非常に効果的なアプローチを作成することを提案します。
ターゲット ドメインで最高の初期パフォーマンスを得るために、ソース データに対するドメイン一般化された事前トレーニングが使用されます。
一般化を達成し、既存のアプローチと比較して小規模なデータセットに対して優れたパフォーマンスを提供するさらなる手法として、画像登録タスクで以前に使用されていた MIND 記述子を導入します。
テスト時には、さまざまな画像拡張を考慮して一貫性を保つためにモデルの重みを最適化することで、すべての目に見えないスキャンの高品質なセグメンテーションが保証されます。
このようにして、私たちの方法ではソース データとターゲット データを別々に使用できるようになり、現在のデータ可用性の障壁が取り除かれます。
さらに、提示された方法は、特定のモデル アーキテクチャや、関連するドメインやラベルの事前知識を必要としないため、高度にモジュール化されています。
我々は、現在医療画像セグメンテーションのための最も一般的で正確なフレームワークである nnUNet にそれを統合することによってこれを実証します。
この研究では、腹部、心臓、腰椎のスキャンをカバーする複数のデータセットを使用し、いくつかの領域外シナリオを構成しました。
我々の方法は、事前にトレーニングされた全身 CT モデルと組み合わせることで、前述のすべてのシナリオで効果的に MR 画像を高精度でセグメント化できることを実証します。
オープンソース コードはここで見つけることができます: https://github.com/multimodallearning/DG-TTA

要約(オリジナル)

Applying pre-trained medical segmentation models on out-of-domain images often yields predictions of insufficient quality. Several strategies have been proposed to maintain model performance, such as finetuning or unsupervised- and source-free domain adaptation. These strategies set restrictive requirements for data availability. In this study, we propose to combine domain generalization and test-time adaptation to create a highly effective approach for reusing pre-trained models in unseen target domains. Domain-generalized pre-training on source data is used to obtain the best initial performance in the target domain. We introduce the MIND descriptor previously used in image registration tasks as a further technique to achieve generalization and present superior performance for small-scale datasets compared to existing approaches. At test-time, high-quality segmentation for every single unseen scan is ensured by optimizing the model weights for consistency given different image augmentations. That way, our method enables separate use of source and target data and thus removes current data availability barriers. Moreover, the presented method is highly modular as it does not require specific model architectures or prior knowledge of involved domains and labels. We demonstrate this by integrating it into the nnUNet, which is currently the most popular and accurate framework for medical image segmentation. We employ multiple datasets covering abdominal, cardiac, and lumbar spine scans and compose several out-of-domain scenarios in this study. We demonstrate that our method, combined with pre-trained whole-body CT models, can effectively segment MR images with high accuracy in all of the aforementioned scenarios. Open-source code can be found here: https://github.com/multimodallearning/DG-TTA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google