From colouring-in to pointillism: revisiting semantic segmentation supervision

要約

セマンティック セグメンテーション トレーニング データを生成するための一般的なパラダイムは、トレーニング セット内の各画像の各ピクセルに密にラベルを付けることに依存しています。
このアプローチは、画像、クラス、およびアノテーターの数を拡大するときにボトルネックになります。
ここでは代わりに、意味セグメンテーション アノテーションの点描アプローチを提案します。ここでは、点単位の yes/no の質問のみが回答されます。
このようなアクティブ ラーニング アプローチの代替設計を探り、このタスクでのヒューマン アノテーターの速度と一貫性を測定し、この戦略が優れたセグメンテーション モデルのトレーニングを可能にし、テスト時のモデル評価に適していることを示します。
私たちの方法のスケーラビリティの具体的な証拠として、Open Images データセットで 4,171 クラスを超える 2,260 万のポイント ラベルを収集してリリースしました。
私たちの結果は、点描の観点から、注釈、トレーニング、および評価のセマンティック セグメンテーション パイプラインを再考することを可能にします。

要約(オリジナル)

The prevailing paradigm for producing semantic segmentation training data relies on densely labelling each pixel of each image in the training set, akin to colouring-in books. This approach becomes a bottleneck when scaling up in the number of images, classes, and annotators. Here we propose instead a pointillist approach for semantic segmentation annotation, where only point-wise yes/no questions are answered. We explore design alternatives for such an active learning approach, measure the speed and consistency of human annotators on this task, show that this strategy enables training good segmentation models, and that it is suitable for evaluating models at test time. As concrete proof of the scalability of our method, we collected and released 22.6M point labels over 4,171 classes on the Open Images dataset. Our results enable to rethink the semantic segmentation pipeline of annotation, training, and evaluation from a pointillism point of view.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google