Multi-stream Fusion for Class Incremental Learning in Pill Image Classification

要約

実世界の画像から錠剤のカテゴリを分類することは、様々なスマートヘルスケアアプリケーションにとって重要である。画像分類における既存のアプローチは、固定された錠剤カテゴリに対しては良い性能を達成するかもしれないが、学習アルゴリズムに頻繁に提示される錠剤カテゴリの新規インスタンスを扱うことはできない。このため、新規のクラスでモデルを学習させることが簡単な解決策となります。しかし、この方法では、システムが以前のクラスで学習したことを忘れてしまう、壊滅的忘却と呼ばれる現象が発生する可能性がある。本論文では、従来の錠剤画像分類システムにクラス漸増学習（CIL）能力を導入することで、この課題に対処する。具体的には、様々な最新のCIL手法に、問題のドメインに最も適合する追加のガイダンス情報ストリームを組み込むことができる、新しい漸進的マルチストリーム中間融合の枠組みを提案する。このフレームワークから、我々は錠剤画像の色情報をガイダンスストリームとみなし、CIL錠剤画像分類タスクを解くための「マルチストリーム中間融合による色ガイダンス」（CG-IMIF）というアプローチを考案する。実世界の錠剤画像分類データセットであるVAIPE-PCILを用いて包括的な実験を行い、CG-IMIFが異なるタスク設定において一貫していくつかの最先端手法を大きなマージンで上回ることを見出した。我々のコード、データ、および学習済みモデルは、https://github.com/vinuni-vishc/CG-IMIF で入手可能である。

要約(オリジナル)

Classifying pill categories from real-world images is crucial for various smart healthcare applications. Although existing approaches in image classification might achieve a good performance on fixed pill categories, they fail to handle novel instances of pill categories that are frequently presented to the learning algorithm. To this end, a trivial solution is to train the model with novel classes. However, this may result in a phenomenon known as catastrophic forgetting, in which the system forgets what it learned in previous classes. In this paper, we address this challenge by introducing the class incremental learning (CIL) ability to traditional pill image classification systems. Specifically, we propose a novel incremental multi-stream intermediate fusion framework enabling incorporation of an additional guidance information stream that best matches the domain of the problem into various state-of-the-art CIL methods. From this framework, we consider color-specific information of pill images as a guidance stream and devise an approach, namely ‘Color Guidance with Multi-stream intermediate fusion'(CG-IMIF) for solving CIL pill image classification task. We conduct comprehensive experiments on real-world incremental pill image classification dataset, namely VAIPE-PCIL, and find that the CG-IMIF consistently outperforms several state-of-the-art methods by a large margin in different task settings. Our code, data, and trained model are available at https://github.com/vinuni-vishc/CG-IMIF.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL