S&D Messenger: Exchanging Semantic and Domain Knowledge for Generic Semi-Supervised Medical Image Segmentation

要約

半教師あり医療画像セグメンテーション (SSMIS) は、医療分野における時間のかかる手動ラベル付けの課題に取り組む有望なソリューションとして浮上しています。
ただし、実際のシナリオでは、データセット内にドメインのバリエーションが存在することが多く、半教師あり医療ドメイン一般化 (Semi-MDG) や教師なし医療ドメイン適応 (UMDA) などの派生シナリオが発生します。
このペーパーでは、3 つのタスクすべてをマスターする汎用フレームワークを開発することを目的としています。
3 つのシナリオにわたって共通する重要な課題があることに気付きました。セグメンテーションのパフォーマンスに関する明示的な意味論的な知識と一般化可能性に関する豊富なドメイン知識は、それぞれラベル付きセットとラベルなしセットに排他的に存在します。
このような不一致により、既存の方法では半教師あり設定下で両方の種類の知識を効果的に理解することができなくなります。
この課題に取り組むために、ラベル付きセットとラベルなしセット間の直接的な知識伝達を容易にするセマンティック & ドメイン ナレッジ メッセンジャー (S&D メッセンジャー) を開発しました。これにより、モデルが個々の学習フローで両方を理解できるようになります。
当社の S&D メッセンジャーを装備した単純な疑似ラベル付け手法は、状態に比べて、SSMIS (+7.5%)、UMDA (+5.6%)、および Semi-MDG タスク (+1.14%) の 6 つのベンチマーク データセットで大幅な改善を達成できます。
特定のタスクのために設計された最先端のメソッド。

要約(オリジナル)

Semi-supervised medical image segmentation (SSMIS) has emerged as a promising solution to tackle the challenges of time-consuming manual labeling in the medical field. However, in practical scenarios, there are often domain variations within the datasets, leading to derivative scenarios like semi-supervised medical domain generalization (Semi-MDG) and unsupervised medical domain adaptation (UMDA). In this paper, we aim to develop a generic framework that masters all three tasks. We notice a critical shared challenge across three scenarios: the explicit semantic knowledge for segmentation performance and rich domain knowledge for generalizability exclusively exist in the labeled set and unlabeled set respectively. Such discrepancy hinders existing methods from effectively comprehending both types of knowledge under semi-supervised settings. To tackle this challenge, we develop a Semantic & Domain Knowledge Messenger (S&D Messenger) which facilitates direct knowledge delivery between the labeled and unlabeled set, and thus allowing the model to comprehend both of them in each individual learning flow. Equipped with our S&D Messenger, a naive pseudo-labeling method can achieve huge improvement on six benchmark datasets for SSMIS (+7.5%), UMDA (+5.6%), and Semi-MDG tasks (+1.14%), compared with state-of-the-art methods designed for specific tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google