How to Efficiently Annotate Images for Best-Performing Deep Learning Based Segmentation Models: An Empirical Study with Weak and Noisy Annotations and Segment Anything Model

要約

ディープ ニューラル ネットワーク (DNN) は、さまざまな画像セグメンテーション タスクにわたって優れたパフォーマンスを実証しています。
ただし、セグメンテーション DNN をトレーニングするためのデータセットを準備するプロセスは、通常、対象オブジェクトごとにピクセル レベルのアノテーションを必要とするため、多大な労力とコストがかかります。
この課題を軽減するには、弱いラベル (境界ボックスや落書きなど) や精度の低い (ノイズの多い) 注釈を使用するなどの代替アプローチを使用できます。
ノイズの多いラベルや弱いラベルの生成が大幅に高速化され、同じ時間枠内でより多くの注釈付き画像を作成できるようになります。
ただし、アノテーションの品質が低下する可能性があるため、結果として得られるモデルのセグメンテーションのパフォーマンスに悪影響を及ぼす可能性があります。
この研究では、4 つのデータセットにわたるアノテーション戦略の 6 つのバリアント (合計 9 ～ 10 のサブバリアント) について包括的な費用対効果の評価を実施しました。その結果、関心のあるオブジェクトの概要を正確に概説する一般的な方法は、事実上決して最適なアプローチではないという結論に達しました。
注釈の予算には限りがあります。
ノイズのあるアノテーションと弱いアノテーションの両方で、完全にアノテーションが付けられた対応物と同様のパフォーマンスが得られる使用例が示されましたが、費用対効果が大幅に優れていました。
私たちの発見が、研究者が利用可能なさまざまなオプションを認識し、特にターゲットオブジェクトのラベルを正確に取得するのに特にコストがかかる場合に、アノテーション予算をより効率的に使用するのに役立つことを願っています。
私たちのコードは https://github.com/yzluka/AnnotationEfficiency2D で利用できるようになります。

要約(オリジナル)

Deep neural networks (DNNs) have demonstrated exceptional performance across various image segmentation tasks. However, the process of preparing datasets for training segmentation DNNs is both labor-intensive and costly, as it typically requires pixel-level annotations for each object of interest. To mitigate this challenge, alternative approaches such as using weak labels (e.g., bounding boxes or scribbles) or less precise (noisy) annotations can be employed. Noisy and weak labels are significantly quicker to generate, allowing for more annotated images within the same time frame. However, the potential decrease in annotation quality may adversely impact the segmentation performance of the resulting model. In this study, we conducted a comprehensive cost-effectiveness evaluation on six variants of annotation strategies (9~10 sub-variants in total) across 4 datasets and conclude that the common practice of precisely outlining objects of interest is virtually never the optimal approach when annotation budget is limited. Both noisy and weak annotations showed usage cases that yield similar performance to the perfectly annotated counterpart, yet had significantly better cost-effectiveness. We hope our findings will help researchers be aware of the different available options and use their annotation budgets more efficiently, especially in cases where accurately acquiring labels for target objects is particularly costly. Our code will be made available on https://github.com/yzluka/AnnotationEfficiency2D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google