Semantic Image Segmentation: Two Decades of Research

要約

セマンティック イメージ セグメンテーション (SiS) は、さまざまなコンピューター ビジョン アプリケーションで基本的な役割を果たし、イメージをグローバルに理解するための重要な情報を提供します。
この調査は、SiS の分野における 20 年間の研究を要約するための取り組みであり、初期の歴史的な方法から始めて、トランスフォーマーを使用する最新の傾向を含む、より最近の深層学習方法の概要に続く解決策の文献レビューを提案します。
カリキュラム、漸進的または自己教師あり学習などのセマンティック セグメンテーションを改善するために使用できる弱い監督とサイド機械学習技術の特定のケースについて説明することにより、レビューを補完します。
最先端の SiS モデルは、大量の注釈付きサンプルに依存しており、画像分類などのタスクのラベルよりも取得に費用がかかります。
代わりに、ラベル付けされていないデータを取得する方がはるかに安価であるため、教師なしドメイン適応 (UDA) がセマンティック セグメンテーション コミュニティ内で幅広い成功を収めたことは驚くべきことではありません。
したがって、この本の 2 つ目の重要な貢献は、セマンティック セグメンテーション自体の重要性とセグメンテーション モデルを新しい環境に適応させるという重要な必要性を取り入れた、急速に成長している分野であるセマンティック イメージ セグメンテーション (DASiS) のドメイン アダプテーションの 5 年間を要約することです。
DASiS 技術に関する包括的な調査を提供することに加えて、マルチドメイン学習、ドメイン一般化、ドメイン増分学習、テスト時間適応、ソースフリー ドメイン適応などの新しいトレンドも明らかにします。
最後に、SiS と DASiS で最も広く使用されているデータセットとベンチマークを説明してこの調査を締めくくり、インスタンスおよびパノプティック画像セグメンテーションなどの関連タスクや、医療画像セグメンテーションなどのアプリケーションについて簡単に説明します。

要約(オリジナル)

Semantic image segmentation (SiS) plays a fundamental role in a broad variety of computer vision applications, providing key information for the global understanding of an image. This survey is an effort to summarize two decades of research in the field of SiS, where we propose a literature review of solutions starting from early historical methods followed by an overview of more recent deep learning methods including the latest trend of using transformers. We complement the review by discussing particular cases of the weak supervision and side machine learning techniques that can be used to improve the semantic segmentation such as curriculum, incremental or self-supervised learning. State-of-the-art SiS models rely on a large amount of annotated samples, which are more expensive to obtain than labels for tasks such as image classification. Since unlabeled data is instead significantly cheaper to obtain, it is not surprising that Unsupervised Domain Adaptation (UDA) reached a broad success within the semantic segmentation community. Therefore, a second core contribution of this book is to summarize five years of a rapidly growing field, Domain Adaptation for Semantic Image Segmentation (DASiS) which embraces the importance of semantic segmentation itself and a critical need of adapting segmentation models to new environments. In addition to providing a comprehensive survey on DASiS techniques, we unveil also newer trends such as multi-domain learning, domain generalization, domain incremental learning, test-time adaptation and source-free domain adaptation. Finally, we conclude this survey by describing datasets and benchmarks most widely used in SiS and DASiS and briefly discuss related tasks such as instance and panoptic image segmentation, as well as applications such as medical image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google