OneCAD: One Classifier for All image Datasets using multimodal learning

要約

ビジョントランス（ViT）と畳み込みニューラルネットワーク（CNN）は、分類タスクに広く使われているディープニューラルネットワーク（DNN）である。これらのモデルのアーキテクチャは、学習させたデータセットのクラス数に依存します。クラス数が変わると、モデルのアーキテクチャが（部分的または全体的に）変更されることになる。この研究では、次のような疑問を解決します：クラス数に依存しないモデルアーキテクチャを作成することは可能か？これにより、モデルのアーキテクチャは、学習させるデータセットに依存しない。本作品では、現在のアーキテクチャ（ViTとCNN）の問題点を明らかにする。また、クラス数に依存しない変換モデルを実現するための学習・推論フレームワークOneCAD (One Classifier for All image Datasets) を提案する。我々の知る限り、これは、クラス数に依存しないDNNモデルアーキテクチャを作成するために、分類タスクのマルチモーダル学習でマスクイメージモデリング（MIM）を使用した最初の研究である。自然画像と医療画像のデータセットで予備的な結果を示している。データセットMNIST、CIFAR10、CIFAR100、COVIDx。コードは近日中にgithubで公開する予定です。

要約(オリジナル)

Vision-Transformers (ViTs) and Convolutional neural networks (CNNs) are widely used Deep Neural Networks (DNNs) for classification task. These model architectures are dependent on the number of classes in the dataset it was trained on. Any change in number of classes leads to change (partial or full) in the model’s architecture. This work addresses the question: Is it possible to create a number-of-class-agnostic model architecture?. This allows model’s architecture to be independent of the dataset it is trained on. This work highlights the issues with the current architectures (ViTs and CNNs). Also, proposes a training and inference framework OneCAD (One Classifier for All image Datasets) to achieve close-to number-of-class-agnostic transformer model. To best of our knowledge this is the first work to use Mask-Image-Modeling (MIM) with multimodal learning for classification task to create a DNN model architecture agnostic to the number of classes. Preliminary results are shown on natural and medical image datasets. Datasets: MNIST, CIFAR10, CIFAR100 and COVIDx. Code will soon be publicly available on github.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL