Continual Learning for Class- and Domain-Incremental Semantic Segmentation

要約

継続的な深層学習の分野は新興分野であり、多くの進歩が見られます。
ただし、同時に、ほとんどのアプローチは画像分類のタスクでのみテストされており、インテリジェント車両の分野には関係ありません。
クラス増分セマンティック セグメンテーションのアプローチが提案されたのはごく最近のことです。
ただし、これらのアプローチはすべて、何らかの形式の知識の蒸留に基づいています。
現時点では、継続的な設定でのオブジェクト認識に一般的に使用される再生ベースのアプローチに関する調査はありません。
同時に、セマンティック セグメンテーションのための教師なしドメイン適応が多くの注目を集めましたが、継続的な設定でのドメイン増分学習に関する調査は十分に研究されていません。
したがって、私たちの仕事の目標は、継続的なオブジェクト認識の確立されたソリューションを評価してセマンティック セグメンテーションのタスクに適応させ、継続的なセマンティック セグメンテーションのタスクにベースライン メソッドと評価プロトコルを提供することです。
まず、クラスおよびドメインの増分セグメンテーションの評価プロトコルを紹介し、選択したアプローチを分析します。
セマンティック セグメンテーションのタスクの性質によって、画像分類と比較してどの方法が忘却を軽減するのに最も効果的かが変わることを示します。
特に、クラス単位の増分学習では、知識の抽出が重要なツールであることが証明されていますが、ドメイン単位の増分学習では、再生方法が最も効果的な方法です。

要約(オリジナル)

The field of continual deep learning is an emerging field and a lot of progress has been made. However, concurrently most of the approaches are only tested on the task of image classification, which is not relevant in the field of intelligent vehicles. Only recently approaches for class-incremental semantic segmentation were proposed. However, all of those approaches are based on some form of knowledge distillation. At the moment there are no investigations on replay-based approaches that are commonly used for object recognition in a continual setting. At the same time while unsupervised domain adaption for semantic segmentation gained a lot of traction, investigations regarding domain-incremental learning in an continual setting is not well-studied. Therefore, the goal of our work is to evaluate and adapt established solutions for continual object recognition to the task of semantic segmentation and to provide baseline methods and evaluation protocols for the task of continual semantic segmentation. We firstly introduce evaluation protocols for the class- and domain-incremental segmentation and analyze selected approaches. We show that the nature of the task of semantic segmentation changes which methods are most effective in mitigating forgetting compared to image classification. Especially, in class-incremental learning knowledge distillation proves to be a vital tool, whereas in domain-incremental learning replay methods are the most effective method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google