Continual Semantic Segmentation with Automatic Memory Sample Selection

要約

タイトル：自動メモリサンプル選択による継続的な意味セグメンテーション

要約：

– 本論文の目的は継続的な意味セグメンテーションにおいて、前のクラスの一部のサンプルを保存するメモリバッファによって、悲惨な忘却問題を緩和するためのサンプル選択メカニズムを提案することである。
– 既存の手法は、メモリサンプルをランダムに選択するか、単一因子駆動の手作業戦略に基づいて選択するが、最適である保証がない。
– 本論文では、サンプルの多様性やクラスのパフォーマンスなど包括的な要因を考慮して、効果的な再生のために情報的なサンプルを自動的に選択する新しいメカニズムを提案する。
– このメカニズムは選択操作を意思決定プロセスと見なし、報酬セットでの検証パフォーマンスを直接最大化する最適な選択方針を学習する。
– 選択の決定を容易にするために、独自の状態表現と2段階のアクション空間を設計した。
– Pascal-VOC 2012とADE 20Kデータセットでの広範な実験により、本手法の効果を検証し、Pascal-VOC 2012の6ステージ設定において2位から12.54％上回る最先端のパフォーマンスを発揮することが示された。

要約(オリジナル)

Continual Semantic Segmentation (CSS) extends static semantic segmentation by incrementally introducing new classes for training. To alleviate the catastrophic forgetting issue in CSS, a memory buffer that stores a small number of samples from the previous classes is constructed for replay. However, existing methods select the memory samples either randomly or based on a single-factor-driven handcrafted strategy, which has no guarantee to be optimal. In this work, we propose a novel memory sample selection mechanism that selects informative samples for effective replay in a fully automatic way by considering comprehensive factors including sample diversity and class performance. Our mechanism regards the selection operation as a decision-making process and learns an optimal selection policy that directly maximizes the validation performance on a reward set. To facilitate the selection decision, we design a novel state representation and a dual-stage action space. Our extensive experiments on Pascal-VOC 2012 and ADE 20K datasets demonstrate the effectiveness of our approach with state-of-the-art (SOTA) performance achieved, outperforming the second-place one by 12.54% for the 6stage setting on Pascal-VOC 2012.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI