RECALL: Rehearsal-free Continual Learning for Object Classification

要約

畳み込みニューラル ネットワークは、分類では目覚ましい結果を示していますが、その場で新しいことを学習するには苦労しています。
ディープ ニューラル ネットワークが、以前のシーケンスのデータを保存することなく、新しい目に見えないオブジェクト カテゴリを継続的に学習する、新しいリハーサル フリーのアプローチを提示します。
私たちのアプローチは RECALL と呼ばれます。これは、ネットワークが新しいカテゴリをトレーニングする前に古いカテゴリのロジットを計算することによってカテゴリをリコールするためです。
これらは、トレーニング中に古いカテゴリの変更を避けるために使用されます。
新しいシーケンスごとに、新しいヘッドが追加され、新しいカテゴリに対応します。
忘却を軽減するために、分類を回帰に置き換える正則化戦略を提示します。
さらに、既知のカテゴリについては、既知のカテゴリと未知のカテゴリの間の密度の変化を説明する分散を含むマハラノビス損失を提案します。
最後に、25 の家庭用オブジェクト カテゴリの 150,795 の合成画像を含む、移動ロボット (HOWS-CL-25) でのオブジェクト認識に特に適した、継続的な学習のための新しいデータセットを提示します。
私たちのアプローチ RECALL は、CORe50 と iCIFAR-100 で現在の最先端技術を上回り、HOWS-CL-25 で最高のパフォーマンスに達します。

要約(オリジナル)

Convolutional neural networks show remarkable results in classification but struggle with learning new things on the fly. We present a novel rehearsal-free approach, where a deep neural network is continually learning new unseen object categories without saving any data of prior sequences. Our approach is called RECALL, as the network recalls categories by calculating logits for old categories before training new ones. These are then used during training to avoid changing the old categories. For each new sequence, a new head is added to accommodate the new categories. To mitigate forgetting, we present a regularization strategy where we replace the classification with a regression. Moreover, for the known categories, we propose a Mahalanobis loss that includes the variances to account for the changing densities between known and unknown categories. Finally, we present a novel dataset for continual learning, especially suited for object recognition on a mobile robot (HOWS-CL-25), including 150,795 synthetic images of 25 household object categories. Our approach RECALL outperforms the current state of the art on CORe50 and iCIFAR-100 and reaches the best performance on HOWS-CL-25.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google