StructToken : Rethinking Semantic Segmentation with Structural Prior

要約

以前の深層学習ベースの方法では、セマンティック セグメンテーションは静的または動的なピクセルごとの分類タスクと見なされていました。\textit{i.e.,} 各ピクセル表現を特定のカテゴリに分類します。
ただし、これらの方法は、人間の意思決定メカニズムにとって重要なオブジェクトの構造情報を無視しながら、より良いピクセル表現または分類カーネルを学習することにのみ焦点を当てています。
この論文では、構造認識抽出と呼ばれるセマンティックセグメンテーションの新しいパラダイムを提示します。
具体的には、一連の学習可能な構造トークンと画像特徴の間の相互作用を介してセグメンテーション結果を生成します。これは、特徴から各カテゴリの構造情報を段階的に抽出することを目的としています。
広範な実験により、当社の StructToken は、ADE20K、Cityscapes、および COCO-Stuff-10K を含む 3 つの広く使用されているベンチマークで最先端のパフォーマンスを上回っていることが示されています。

要約(オリジナル)

In previous deep-learning-based methods, semantic segmentation has been regarded as a static or dynamic per-pixel classification task, \textit{i.e.,} classify each pixel representation to a specific category. However, these methods only focus on learning better pixel representations or classification kernels while ignoring the structural information of objects, which is critical to human decision-making mechanism. In this paper, we present a new paradigm for semantic segmentation, named structure-aware extraction. Specifically, it generates the segmentation results via the interactions between a set of learnable structure tokens and the image feature, which aims to progressively extract the structural information of each category from the feature. Extensive experiments show that our StructToken outperforms the state-of-the-art on three widely-used benchmarks, including ADE20K, Cityscapes, and COCO-Stuff-10K.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google