ContriMix: Scalable stain color augmentation for domain generalization without domain labels in digital pathology

要約

染色および画像化手順の違いにより、病理組織画像に大きな色の変化が生じる可能性があり、異なるデータ ソースからトレーニングされた深層学習モデルを導入する際の一般化が不十分になる可能性があります。
トレーニング中に合成画像を生成してモデルをより堅牢にし、テスト時の染色正規化の必要性を排除するさまざまな色拡張方法が提案されています。
多くの色拡張方法は、ドメイン ラベルを利用して合成画像を生成します。
このアプローチでは、そのようなモデルを拡張する際に 3 つの重大な課題が生じます。
まず、新しいドメインのデータを既存のドメイン ラベルでトレーニングされた深層学習モデルに組み込むのは簡単ではありません。
第 2 に、ドメイン ラベルへの依存により、モデルのパフォーマンスを向上させるためにドメイン ラベルのない病理画像を使用できなくなります。
最後に、複数のドメイン ラベル (患者 ID、医療センターなど) が 1 つの画像に関連付けられている場合、これらの方法の実装は複雑になります。
スタイル転送手法である DRIT++ に基づいた、新しいドメインラベルフリーの染色色拡張手法である ContriMix を紹介します。
Contrimix は、トレーニング ミニバッチ内のサンプル染色色のバリエーションとランダム混合を利用して、病理画像から内容と属性情報を抽出します。
この情報をトレーニング済みの ContriMix モデルで使用して合成画像を作成し、既存の分類器のパフォーマンスを向上させることができます。
ContriMix は、Camelyon17-WILDS データセット上で競合するメソッドよりも優れたパフォーマンスを発揮します。
そのパフォーマンスは、テスト セット内のさまざまなスライド間で一貫しており、病理画像内の希少物質からの色の変化に対して堅牢です。
私たちはコードとトレーニング済みの ContriMix モデルを研究用に公開しています。
ContriMix のコードは https://gitlab.com/huutan86/contrimix にあります。

要約(オリジナル)

Differences in staining and imaging procedures can cause significant color variations in histopathology images, leading to poor generalization when deploying deep-learning models trained from a different data source. Various color augmentation methods have been proposed to generate synthetic images during training to make models more robust, eliminating the need for stain normalization during test time. Many color augmentation methods leverage domain labels to generate synthetic images. This approach causes three significant challenges to scaling such a model. Firstly, incorporating data from a new domain into deep-learning models trained on existing domain labels is not straightforward. Secondly, dependency on domain labels prevents the use of pathology images without domain labels to improve model performance. Finally, implementation of these methods becomes complicated when multiple domain labels (e.g., patient identification, medical center, etc) are associated with a single image. We introduce ContriMix, a novel domain label free stain color augmentation method based on DRIT++, a style-transfer method. Contrimix leverages sample stain color variation within a training minibatch and random mixing to extract content and attribute information from pathology images. This information can be used by a trained ContriMix model to create synthetic images to improve the performance of existing classifiers. ContriMix outperforms competing methods on the Camelyon17-WILDS dataset. Its performance is consistent across different slides in the test set while being robust to the color variation from rare substances in pathology images. We make our code and trained ContriMix models available for research use. The code for ContriMix can be found at https://gitlab.com/huutan86/contrimix

arxiv情報

提供元, 利用サービス

arxiv.jp, Google