StructToken : Rethinking Semantic Segmentation with Structural Prior

要約

【タイトル】StructToken：構造的優先性を考慮した意味的セグメンテーションの見直し

【要約】
– 従来の深層学習に基づく方法では、意味的セグメンテーションは、静的または動的なピクセルごとの分類タスクと見なされていました。
– これらの方法は、ピクセル表現をより良く学習するか、分類カーネルを向上させることに焦点を当てていますが、オブジェクトの構造情報を無視しています。
– 本論文では、意味的セグメンテーションの新しいパラダイムである「構造的抽出」という考え方を提案しています。
– 具体的には、学習された一連の構造トークンと画像特徴の相互作用によってセグメンテーション結果を生成し、各カテゴリの構造情報を特徴から逐次的に抽出することを目的としています。
– 広範な実験により、StructTokenがADE20K、Cityscapes、COCO-Stuff-10Kの3つの広く使用されているベンチマークで最先端の性能を発揮することが示されています。

要約(オリジナル)

In previous deep-learning-based methods, semantic segmentation has been regarded as a static or dynamic per-pixel classification task, \textit{i.e.,} classify each pixel representation to a specific category. However, these methods only focus on learning better pixel representations or classification kernels while ignoring the structural information of objects, which is critical to human decision-making mechanism. In this paper, we present a new paradigm for semantic segmentation, named structure-aware extraction. Specifically, it generates the segmentation results via the interactions between a set of learned structure tokens and the image feature, which aims to progressively extract the structural information of each category from the feature. Extensive experiments show that our StructToken outperforms the state-of-the-art on three widely-used benchmarks, including ADE20K, Cityscapes, and COCO-Stuff-10K.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI