Scribbles for All: Benchmarking Scribble Supervised Segmentation Across Datasets

要約

この研究では、落書きラベルでトレーニングされたセマンティック セグメンテーション用のラベルおよびトレーニング データ生成アルゴリズムである Scribbles for All を紹介します。
弱い監視下でのセマンティック セグメンテーション モデルのトレーニングまたは微調整が最近重要なテーマとなっており、モデルの品質が大幅に向上しました。
この設定では、落書きは、通常のピクセル単位の高密度セマンティック セグメンテーション アノテーションよりもはるかに少ないアノテーション作業を必要としながら、高品質のセグメンテーション結果を実現する有望なラベル タイプです。
弱い監視のソースとしての落書きの主な制限は、落書きのセグメンテーションのための困難なデータセットが欠如していることであり、これが新しい方法の開発や決定的な評価を妨げています。
この制限を克服するために、Scribbles for All は、いくつかの一般的なセグメンテーション データセットにスクリブル ラベルを提供し、高密度のアノテーションを持つ任意のデータセットにスクリブル ラベルを自動的に生成するアルゴリズムを提供し、弱教師セグメンテーションの分野で新しい洞察とモデルの進歩への道を開きます。
データセットとアルゴリズムを提供することに加えて、当社はデータセットで最先端のセグメンテーション モデルを評価し、合成ラベルでトレーニングされたモデルが手動ラベルでトレーニングされたモデルと比較して競合するパフォーマンスを示すことを示します。
したがって、私たちのデータセットにより、落書きラベル付きセマンティック セグメンテーションの方法に関する最先端の研究が可能になります。
データセット、落書き生成アルゴリズム、およびベースラインは、https://github.com/wbkit/Scribbles4All で公開されています。

要約(オリジナル)

In this work, we introduce Scribbles for All, a label and training data generation algorithm for semantic segmentation trained on scribble labels. Training or fine-tuning semantic segmentation models with weak supervision has become an important topic recently and was subject to significant advances in model quality. In this setting, scribbles are a promising label type to achieve high quality segmentation results while requiring a much lower annotation effort than usual pixel-wise dense semantic segmentation annotations. The main limitation of scribbles as source for weak supervision is the lack of challenging datasets for scribble segmentation, which hinders the development of novel methods and conclusive evaluations. To overcome this limitation, Scribbles for All provides scribble labels for several popular segmentation datasets and provides an algorithm to automatically generate scribble labels for any dataset with dense annotations, paving the way for new insights and model advancements in the field of weakly supervised segmentation. In addition to providing datasets and algorithm, we evaluate state-of-the-art segmentation models on our datasets and show that models trained with our synthetic labels perform competitively with respect to models trained on manual labels. Thus, our datasets enable state-of-the-art research into methods for scribble-labeled semantic segmentation. The datasets, scribble generation algorithm, and baselines are publicly available at https://github.com/wbkit/Scribbles4All

arxiv情報

提供元, 利用サービス

arxiv.jp, Google