Adaptive Superpixel for Active Learning in Semantic Segmentation

要約

セマンティック セグメンテーションの学習にはピクセル単位の注釈が必要ですが、これには時間と費用がかかります。
アノテーションのコストを削減するために、代わりにスーパーピクセルごとに支配的なラベルを収集する、スーパーピクセル ベースのアクティブ ラーニング (AL) フレームワークを提案します。
具体的には、完全にAL専用の適応型スーパーピクセルとふるい分けメカニズムで構成されています。
AL の各ラウンドで、同様の学習済み特徴の隣接ピクセルをスーパーピクセルに適応的にマージします。
次に、取得関数を使用して、これらのスーパーピクセルの選択されたサブセットを照会します。均一なスーパーピクセル サイズは想定されていません。
このアプローチは、RGB カラーなどの固有の機能のみに依存し、均一なスーパーピクセル サイズを前提とする既存の方法よりも効率的です。
スーパーピクセルごとにドミナント ラベルを取得すると、必要なクリック数が減るため、アノテーターの負担が大幅に軽減されます。
ただし、スーパーピクセルとグラウンド トゥルースのセグメンテーションが一致しないため、必然的にノイズの多い注釈が導入されます。
この問題に対処するために、潜在的にノイズの多い注釈を識別して学習から除外するふるい分けメカニズムをさらに考案しました。
Cityscapes と PASCAL VOC データセットの両方に対する私たちの実験は、適応スーパーピクセルとふるい分けメカニズムの有効性を示しています。

要約(オリジナル)

Learning semantic segmentation requires pixel-wise annotations, which can be time-consuming and expensive. To reduce the annotation cost, we propose a superpixel-based active learning (AL) framework, which collects a dominant label per superpixel instead. To be specific, it consists of adaptive superpixel and sieving mechanisms, fully dedicated to AL. At each round of AL, we adaptively merge neighboring pixels of similar learned features into superpixels. We then query a selected subset of these superpixels using an acquisition function assuming no uniform superpixel size. This approach is more efficient than existing methods, which rely only on innate features such as RGB color and assume uniform superpixel sizes. Obtaining a dominant label per superpixel drastically reduces annotators’ burden as it requires fewer clicks. However, it inevitably introduces noisy annotations due to mismatches between superpixel and ground truth segmentation. To address this issue, we further devise a sieving mechanism that identifies and excludes potentially noisy annotations from learning. Our experiments on both Cityscapes and PASCAL VOC datasets demonstrate the efficacy of adaptive superpixel and sieving mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google