Leukocyte Classification using Multimodal Architecture Enhanced by Knowledge Distillation

要約

最近、多くの自動化された白血球 (WBC) または白血球分類技術が開発されました。
ただし、これらの方法はすべて、単一のモダリティ顕微鏡画像、つまり血液塗抹標本または蛍光ベースの画像のみを利用するため、マルチモーダル画像からのより良い学習の可能性が失われています。
この作業では、WBC 分類のタスクのためのその種のマルチ モーダル WBC データセットの最初に基づく効率的なマルチ モーダル アーキテクチャを開発します。
具体的には、提案されたアイデアは2つのステップで開発されます。1）最初に、単一のネットワーク内のみでモダリティ固有の独立したサブネットワークを学習します。
2) 複雑性の高い独立した教師ネットワークから知識を抽出することにより、独立したサブネットワークの学習能力をさらに強化します。
これにより、提案されたフレームワークは、マルチモーダル データセットの複雑さを抑えながら、高いパフォーマンスを実現できます。
私たちの独自の貢献は 2 つあります。1) WBC 分類用のマルチモーダル WBC データセットを初めて提供します。
2) 効率的で複雑性が低い高性能なマルチモーダル アーキテクチャを開発します。

要約(オリジナル)

Recently, a lot of automated white blood cells (WBC) or leukocyte classification techniques have been developed. However, all of these methods only utilize a single modality microscopic image i.e. either blood smear or fluorescence based, thus missing the potential of a better learning from multimodal images. In this work, we develop an efficient multimodal architecture based on a first of its kind multimodal WBC dataset for the task of WBC classification. Specifically, our proposed idea is developed in two steps – 1) First, we learn modality specific independent subnetworks inside a single network only; 2) We further enhance the learning capability of the independent subnetworks by distilling knowledge from high complexity independent teacher networks. With this, our proposed framework can achieve a high performance while maintaining low complexity for a multimodal dataset. Our unique contribution is two-fold – 1) We present a first of its kind multimodal WBC dataset for WBC classification; 2) We develop a high performing multimodal architecture which is also efficient and low in complexity at the same time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google