Vision Transformers: From Semantic Segmentation to Dense Prediction

要約

画像分類における視覚変換器（ViT）の出現は、視覚表現学習の方法論を転換させた。特にViTsは、CNNの層間受容野の増加や他の選択肢（例えばラージカーネルやアトラス畳み込み）と比較して、全ての画像パッチに渡って層毎の完全な受容野で視覚表現を学習する。この研究では初めて、高密度の視覚予測（例えばセマンティックセグメンテーション）のためのViTのグローバルコンテキスト学習の可能性を探る。我々の動機は、完全な受容野でグローバルコンテキストを層ごとに学習することで、ViTが、高密度予測タスクに重要な、より強い長距離依存情報を捉える可能性があることである。我々はまず、画像をパッチのシーケンスとして符号化することで、局所畳み込みと解像度低減を伴わないバニラViTが、意味的セグメンテーションにより強い視覚表現をもたらすことを示す。例えば、SEgmentation TRansformer（SETR）と呼ばれる我々のモデルは、ADE20K（50.28%mIoU、提出日のテストリーダーボードで1位）に優れ、Cityscapesでは競争力のある性能を発揮する。しかし、基本的なViTアーキテクチャは、ピラミッド構造の欠如、高い計算負荷、不十分なローカルコンテキストにより、物体検出やインスタンス分割などのより広範な高密度予測アプリケーションでは不十分です。コスト効率の良い方法で一般的な密な視覚予測タスクに取り組むために、我々はさらに、ピラミッド型アーキテクチャにおける、ウィンドウ内のローカルな注意とウィンドウをまたがるグローバルな注意を特徴とする、階層的ローカル-グローバル（HLG）変換器ファミリーを定式化する。広範な実験により、我々の手法が、画像分類だけでなく、様々な高密度予測タスク（例えば、物体検出、インスタンス分割、意味分割）において、魅力的な性能を達成することを示す。

要約(オリジナル)

The emergence of vision transformers (ViTs) in image classification has shifted the methodologies for visual representation learning. In particular, ViTs learn visual representation at full receptive field per layer across all the image patches, in comparison to the increasing receptive fields of CNNs across layers and other alternatives (e.g., large kernels and atrous convolution). In this work, for the first time we explore the global context learning potentials of ViTs for dense visual prediction (e.g., semantic segmentation). Our motivation is that through learning global context at full receptive field layer by layer, ViTs may capture stronger long-range dependency information, critical for dense prediction tasks. We first demonstrate that encoding an image as a sequence of patches, a vanilla ViT without local convolution and resolution reduction can yield stronger visual representation for semantic segmentation. For example, our model, termed as SEgmentation TRansformer (SETR), excels on ADE20K (50.28% mIoU, the first position in the test leaderboard on the day of submission) and performs competitively on Cityscapes. However, the basic ViT architecture falls short in broader dense prediction applications, such as object detection and instance segmentation, due to its lack of a pyramidal structure, high computational demand, and insufficient local context. For tackling general dense visual prediction tasks in a cost-effective manner, we further formulate a family of Hierarchical Local-Global (HLG) Transformers, characterized by local attention within windows and global-attention across windows in a pyramidal architecture. Extensive experiments show that our methods achieve appealing performance on a variety of dense prediction tasks (e.g., object detection and instance segmentation and semantic segmentation) as well as image classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL