Improving Replay-Based Continual Semantic Segmentation with Smart Data Selection

要約

セマンティック セグメンテーション (CSS) の継続的学習は、急速に出現している分野であり、新しいクラスまたは新しいドメインを学習することによって、セグメンテーション モデルの機能が段階的に改善されます。
継続的学習における中心的な課題は、壊滅的な忘却の影響を克服することです。これは、モデルが新しいクラスまたはドメインでトレーニングされた後に、以前に学習したタスクの精度が突然低下することを指します。
継続的な分類では、この課題は、前のタスクからのサンプルの小さな選択を再生することによって克服されることがよくありますが、CSS で再生が考慮されることはほとんどありません。
したがって、セマンティック セグメンテーションのさまざまなリプレイ戦略の影響を調査し、クラスおよびドメインの増分設定でそれらを評価します。
私たちの調査結果は、クラスの増分設定では、新しく学習したクラスへの偏りを避けるために、バッファー内のさまざまなクラスの均一な分布を達成することが重要であることを示唆しています。
ドメイン増分設定では、学習された特徴表現の分布から均一にサンプリングするか、エントロピーの中央値を持つサンプルを選択することにより、バッファー サンプルを選択するのが最も効果的です。
最後に、効果的なサンプリング方法は、ドメインの増分学習における忘却の主な原因である初期層での表現シフトを大幅に減らすのに役立つことを観察します。

要約(オリジナル)

Continual learning for Semantic Segmentation (CSS) is a rapidly emerging field, in which the capabilities of the segmentation model are incrementally improved by learning new classes or new domains. A central challenge in Continual Learning is overcoming the effects of catastrophic forgetting, which refers to the sudden drop in accuracy on previously learned tasks after the model is trained on new classes or domains. In continual classification this challenge is often overcome by replaying a small selection of samples from previous tasks, however replay is rarely considered in CSS. Therefore, we investigate the influences of various replay strategies for semantic segmentation and evaluate them in class- and domain-incremental settings. Our findings suggest that in a class-incremental setting, it is critical to achieve a uniform distribution for the different classes in the buffer to avoid a bias towards newly learned classes. In the domain-incremental setting, it is most effective to select buffer samples by uniformly sampling from the distribution of learned feature representations or by choosing samples with median entropy. Finally, we observe that the effective sampling methods help to decrease the representation shift significantly in early layers, which is a major cause of forgetting in domain-incremental learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google