A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction

要約

ディープ ラーニングの急速な発展により、コンピューター ビジョンの基本的なタスクの 1 つである画像のセグメンテーションが大幅に進歩しました。
ただし、現在のセグメンテーション アルゴリズムは、多くの場合、高価で面倒で面倒なピクセル レベルの注釈の可用性に依存しています。
この負担を軽減するために、過去数年間、ラベル効率の高い、深層学習ベースの画像セグメンテーション アルゴリズムの構築に注目が集まっています。
このペーパーでは、ラベル効率の高い画像セグメンテーション方法に関する包括的なレビューを提供します。
この目的のために、まず、さまざまなタイプの弱いラベル (監督なし、不正確な監督、不完全な監督、不正確な監督を含む) によって提供され、セグメンテーションの問題のタイプ (セマンティック セグメンテーションを含む) によって補完される監督に従って、これらの方法を整理するための分類法を開発します。
、インスタンス セグメンテーションおよびパノプティック セグメンテーション)。
次に、既存のラベル効率の高い画像セグメンテーション方法を統一された観点からまとめ、重要な問題について説明します: 弱い監視と密な予測の間のギャップを埋める方法 — 現在の方法は、ほとんどがクロスピクセルなどのヒューリスティックな事前確率に基づいています。
類似性、クロス ラベル制約、クロス ビューの一貫性、およびクロス イメージの関係。
最後に、ラベル効率の高いディープ イメージ セグメンテーションの今後の研究の方向性について意見を共有します。

要約(オリジナル)

The rapid development of deep learning has made a great progress in image segmentation, one of the fundamental tasks of computer vision. However, the current segmentation algorithms mostly rely on the availability of pixel-level annotations, which are often expensive, tedious, and laborious. To alleviate this burden, the past years have witnessed an increasing attention in building label-efficient, deep-learning-based image segmentation algorithms. This paper offers a comprehensive review on label-efficient image segmentation methods. To this end, we first develop a taxonomy to organize these methods according to the supervision provided by different types of weak labels (including no supervision, inexact supervision, incomplete supervision and inaccurate supervision) and supplemented by the types of segmentation problems (including semantic segmentation, instance segmentation and panoptic segmentation). Next, we summarize the existing label-efficient image segmentation methods from a unified perspective that discusses an important question: how to bridge the gap between weak supervision and dense prediction — the current methods are mostly based on heuristic priors, such as cross-pixel similarity, cross-label constraint, cross-view consistency, and cross-image relation. Finally, we share our opinions about the future research directions for label-efficient deep image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google