Dynamic Y-KD: A Hybrid Approach to Continual Instance Segmentation

要約

インスタンスのセグメンテーションにおける深層学習モデルの成功にもかかわらず、現在の手法では、継続的な学習シナリオにおいて依然として壊滅的な忘却が発生します。
このペーパーでは、継続的なインスタンスのセグメンテーションに対する私たちの貢献は 3 つあります。
まず、教師と生徒のネットワーク間で共通の特徴抽出器を共有する手法である Y 知識蒸留 (Y-KD) を提案します。
教師も Y-KD の新しいデータで更新されるため、可塑性が向上し、新しいクラスに特化した新しいモジュールが作成されます。
第 2 に、Y-KD アプローチは、独自のインスタンス セグメンテーション ヘッドを使用してタスク固有のモジュールをトレーニングする動的アーキテクチャ手法によってサポートされており、それによって忘却が大幅に減少します。
3 番目に、さまざまなクラスのセットのパフォーマンス間のトレードオフのバランスを手動で調整する簡単な方法としてチェックポイント平均を活用することで、アプローチを完成させます。これにより、追加のコストをかけずにモデルの動作の制御を強化します。
これらの貢献は、ダイナミック Y-KD ネットワークと名付けたモデルに統合されています。
私たちは、いくつかのシングルステップおよびマルチステップの増分学習シナリオで広範な実験を実行し、私たちのアプローチが過去のクラスと新しいクラスの両方で以前の方法よりも優れていることを示しました。
たとえば、最近の研究と比較して、私たちの方法は 15-1 の古いクラスで +2.1% の mAP を獲得し、19-1 の新しいクラスで +7.6% の mAP を獲得し、19-1 のすべてのクラスでの共同トレーニングによって得られた mAP の 91.5% に達しました。
15-5．

要約(オリジナル)

Despite the success of deep learning models on instance segmentation, current methods still suffer from catastrophic forgetting in continual learning scenarios. In this paper, our contributions for continual instance segmentation are threefold. First, we propose the Y-knowledge distillation (Y-KD), a technique that shares a common feature extractor between the teacher and student networks. As the teacher is also updated with new data in Y-KD, the increased plasticity results in new modules that are specialized on new classes. Second, our Y-KD approach is supported by a dynamic architecture method that trains task-specific modules with a unique instance segmentation head, thereby significantly reducing forgetting. Third, we complete our approach by leveraging checkpoint averaging as a simple method to manually balance the trade-off between performance on the various sets of classes, thus increasing control over the model’s behavior without any additional cost. These contributions are united in our model that we name the Dynamic Y-KD network. We perform extensive experiments on several single-step and multi-steps incremental learning scenarios, and we show that our approach outperforms previous methods both on past and new classes. For instance, compared to recent work, our method obtains +2.1% mAP on old classes in 15-1, +7.6% mAP on new classes in 19-1 and reaches 91.5% of the mAP obtained by joint-training on all classes in 15-5.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google