Semantic Segmentation using Vision Transformers: A survey

要約

タイトル：Vision Transformers を用いたセマンティックセグメンテーション：調査研究

要約：
– セマンティックセグメンテーションは、土地被覆分析、自動運転、医療画像分析などの様々な分野で広く使われる。
– セマンティックセグメンテーションのアーキテクチャには、畳み込みニューラルネットワーク（CNN）と Vision Transformers（ViTs）がある。
– ViTsは画像分類において成功を収めているが、画像セグメンテーションや物体検出などの密な予測タスクに直接適用することはできない。
– 本調査では、セマンティックセグメンテーションに使用できるさまざまなViTアーキテクチャについて、どのように進化して上記の問題を解決したかを説明する。
– ViTの普及とその高い成功率により、コミュニティは徐々に従来の畳み込みニューラルネットワークをさまざまなコンピュータビジョンタスクで置き換えるようになった。
– この調査研究は、ベンチマークデータセットを使用したセマンティックセグメンテーション用に設計されたViTアーキテクチャのパフォーマンスをレビューおよび比較することを目的としている。
– これにより、セマンティックセグメンテーションの実装に関する知識を得ると共に、ViTを用いたより効率的な手法を発見するための役立つ情報を提供する。

要約(オリジナル)

Semantic segmentation has a broad range of applications in a variety of domains including land coverage analysis, autonomous driving, and medical image analysis. Convolutional neural networks (CNN) and Vision Transformers (ViTs) provide the architecture models for semantic segmentation. Even though ViTs have proven success in image classification, they cannot be directly applied to dense prediction tasks such as image segmentation and object detection since ViT is not a general purpose backbone due to its patch partitioning scheme. In this survey, we discuss some of the different ViT architectures that can be used for semantic segmentation and how their evolution managed the above-stated challenge. The rise of ViT and its performance with a high success rate motivated the community to slowly replace the traditional convolutional neural networks in various computer vision tasks. This survey aims to review and compare the performances of ViT architectures designed for semantic segmentation using benchmarking datasets. This will be worthwhile for the community to yield knowledge regarding the implementations carried out in semantic segmentation and to discover more efficient methodologies using ViTs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI