SAPA: Similarity-Aware Point Affiliation for Feature Upsampling

要約

ポイントの所属を特徴のアップサンプリングに導入します。これは、アップサンプリングされた各ポイントと、意味的な類似性を持つローカル デコーダの特徴ポイントによって形成されるセマンティック クラスターとの関係を説明する概念です。
ポイントの所属を再考することにより、アップサンプリング カーネルを生成するための一般的な定式化を提示します。
カーネルは、意味的な滑らかさだけでなく、アップサンプリングされた特徴マップの境界の鋭さも促進します。
このようなプロパティは、セマンティック セグメンテーションなどの密な予測タスクで特に役立ちます。
私たちの定式化の重要なアイデアは、各エンコーダー特徴点とデコーダー特徴の空間的に関連付けられた局所領域との間の類似性を比較することにより、類似性を認識するカーネルを生成することです。
このようにして、エンコーダの特徴点は、アップサンプリングされた特徴点のセマンティック クラスタに通知するキューとして機能できます。
定式化を具現化するために、Similarity-Aware Point Affiliation (SAPA) と呼ばれる軽量のアップサンプリング演算子をさらにインスタンス化し、そのバリアントを調査します。
SAPA は、セマンティック セグメンテーション、オブジェクト検出、深度推定、画像マッティングなど、多数の密な予測タスクで一貫したパフォーマンスの向上をもたらします。
コードは https://github.com/poppinace/sapa で入手できます。

要約(オリジナル)

We introduce point affiliation into feature upsampling, a notion that describes the affiliation of each upsampled point to a semantic cluster formed by local decoder feature points with semantic similarity. By rethinking point affiliation, we present a generic formulation for generating upsampling kernels. The kernels encourage not only semantic smoothness but also boundary sharpness in the upsampled feature maps. Such properties are particularly useful for some dense prediction tasks such as semantic segmentation. The key idea of our formulation is to generate similarity-aware kernels by comparing the similarity between each encoder feature point and the spatially associated local region of decoder features. In this way, the encoder feature point can function as a cue to inform the semantic cluster of upsampled feature points. To embody the formulation, we further instantiate a lightweight upsampling operator, termed Similarity-Aware Point Affiliation (SAPA), and investigate its variants. SAPA invites consistent performance improvements on a number of dense prediction tasks, including semantic segmentation, object detection, depth estimation, and image matting. Code is available at: https://github.com/poppinace/sapa

arxiv情報

提供元, 利用サービス

arxiv.jp, Google