KDAS: Knowledge Distillation via Attention Supervision Framework for Polyp Segmentation

要約

医用画像処理における論争の的となっているポリープのセグメンテーションでは、セグメント化されたマスクの品質を向上させることを目的とした数多くの方法が提案されています。
現在の最先端の技術は素晴らしい結果をもたらしますが、これらのモデルのサイズと計算コストにより、実際の産業用途には課題が生じます。
この課題に対処するために、注意監視を組み込んだ知識蒸留フレームワークである KDAS と、私たちが提案する対称ガイド モジュールを紹介します。
このフレームワークは、より少ないパラメーターでコンパクトな生徒モデルを容易にするように設計されており、対称ガイド モジュールを介して、教師モデルの強みを学習し、知識蒸留の一般的な課題である教師の特徴と生徒の特徴の間の不一致を軽減できるようにします。
広範な実験を通じて、当社のコンパクト モデルは、最先端の方法で競争力のある結果を達成することでその強みを実証し、ポリープ セグメンテーションや医療画像分野で高精度のコンパクト モデルを作成するための有望なアプローチを提供します。
実装は https://github.com/huyquoctrinh/KDAS で入手できます。

要約(オリジナル)

Polyp segmentation, a contentious issue in medical imaging, has seen numerous proposed methods aimed at improving the quality of segmented masks. While current state-of-the-art techniques yield impressive results, the size and computational cost of these models create challenges for practical industry applications. To address this challenge, we present KDAS, a Knowledge Distillation framework that incorporates attention supervision, and our proposed Symmetrical Guiding Module. This framework is designed to facilitate a compact student model with fewer parameters, allowing it to learn the strengths of the teacher model and mitigate the inconsistency between teacher features and student features, a common challenge in Knowledge Distillation, via the Symmetrical Guiding Module. Through extensive experiments, our compact models demonstrate their strength by achieving competitive results with state-of-the-art methods, offering a promising approach to creating compact models with high accuracy for polyp segmentation and in the medical imaging field. The implementation is available on https://github.com/huyquoctrinh/KDAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google