GMM-IL: Image Classification using Incrementally Learnt, Independent Probabilistic Models for Small Sample Sizes

要約

現在の深層学習分類器は、教師あり学習を実行し、クラス識別情報を共有ネットワーク重みのセットに保存します。
これらの重みは、追加のクラスを段階的に学習するために簡単に変更することはできません。分類の重みはすべて、古いクラス情報が失われるのを防ぐために再トレーニングが必要であり、以前のトレーニング データが存在する必要があるためです。
ガウス混合モデルの形式で各クラスを表すために、視覚的特徴学習と確率モデルを組み合わせた新しい 2 段階アーキテクチャを提示します。
分類子内でこれらの独立したクラス表現を使用することにより、Softmax ヘッドを備えた同等のネットワークのベンチマークよりも優れたパフォーマンスを発揮し、サンプル サイズが 12 未満の場合に精度が向上し、そのサンプル範囲内の 3 つの不均衡なクラス プロファイルの加重 F1 スコアが増加しました。
新しいクラスを学習するとき、分類器は壊滅的な忘却の問題を示さず、新しいクラスのトレーニング画像が存在することのみを必要とします。
これにより、時間の経過とともに成長するクラスのデータベースが可能になり、視覚的に索引付けして推論することができます。

要約(オリジナル)

Current deep learning classifiers, carry out supervised learning and store class discriminatory information in a set of shared network weights. These weights cannot be easily altered to incrementally learn additional classes, since the classification weights all require retraining to prevent old class information from being lost and also require the previous training data to be present. We present a novel two stage architecture which couples visual feature learning with probabilistic models to represent each class in the form of a Gaussian Mixture Model. By using these independent class representations within our classifier, we outperform a benchmark of an equivalent network with a Softmax head, obtaining increased accuracy for sample sizes smaller than 12 and increased weighted F1 score for 3 imbalanced class profiles in that sample range. When learning new classes our classifier exhibits no catastrophic forgetting issues and only requires the new classes’ training images to be present. This enables a database of growing classes over time which can be visually indexed and reasoned over.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google