Uncertainty-Aware Multi-Expert Knowledge Distillation for Imbalanced Disease Grading

要約

自動疾患画像グレーディングは、ヘルスケア向けの人工知能の重要なアプリケーションであり、より速く、より正確な患者評価を可能にします。
ただし、データの不均衡によって悪化するドメインシフトは、モデルにバイアスを導入し、臨床応用の展開の問題を提起します。
問題に対処するために、noble \ textbf {u} nc evernationty-aware \ textbf {m} ulti-experts \ textbf {k} nowledge \ textbf {d} intillation（umkd）フレームワークを提案して、複数の専門家モデルから単一の学生モデルに知識を転送します。
具体的には、識別機能を抽出するために、UMKDは、機能空間に浅いコンパクトな機能アライメントを備えたタスクに依存しないおよびタスク固有の特徴を分離します。
出力空間では、不確実性を認識した分離蒸留（UDD）メカニズムは、専門家モデルの不確実性に基づいて知識伝達の重みを動的に調整し、堅牢で信頼できる蒸留を確保します。
さらに、UMKDは、ソースドメインとターゲットドメインの間のモデルアーキテクチャの不均一性と分布の不一致の問題にも取り組みます。
組織学の前立腺格付け（\ TextIT {SICAPV2}）およびFundus Image Grading（\ TextIT {Aptos}）に関する広範な実験は、UMKDがソースバランスとターゲットの両方のシナリオの両方で新しい最先端を達成し、現実的な疾患イメージのグレーディングのための堅牢で実用的なソリューションを提供することを示しています。

要約(オリジナル)

Automatic disease image grading is a significant application of artificial intelligence for healthcare, enabling faster and more accurate patient assessments. However, domain shifts, which are exacerbated by data imbalance, introduce bias into the model, posing deployment difficulties in clinical applications. To address the problem, we propose a novel \textbf{U}ncertainty-aware \textbf{M}ulti-experts \textbf{K}nowledge \textbf{D}istillation (UMKD) framework to transfer knowledge from multiple expert models to a single student model. Specifically, to extract discriminative features, UMKD decouples task-agnostic and task-specific features with shallow and compact feature alignment in the feature space. At the output space, an uncertainty-aware decoupled distillation (UDD) mechanism dynamically adjusts knowledge transfer weights based on expert model uncertainties, ensuring robust and reliable distillation. Additionally, UMKD also tackles the problems of model architecture heterogeneity and distribution discrepancies between source and target domains, which are inadequately tackled by previous KD approaches. Extensive experiments on histology prostate grading (\textit{SICAPv2}) and fundus image grading (\textit{APTOS}) demonstrate that UMKD achieves a new state-of-the-art in both source-imbalanced and target-imbalanced scenarios, offering a robust and practical solution for real-world disease image grading.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google