A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling

要約

特徴アップサンプリングは、画像セグメンテーション タスクのための現在のほぼすべてのネットワーク構造の基本的かつ不可欠な要素です。
最近、一般的な類似度ベースの特徴アップサンプリング パイプラインが提案されています。これは、高解像度の特徴をガイダンスとして利用し、局所的な類似性に基づいて低解像度の深い特徴をアップサンプリングするのに役立ちます。
このパイプラインは有望なパフォーマンスを達成していますが、特定の制限があります。1) HR クエリと LR の主要な機能が十分に連携していません。
2) クエリキー特徴間の類似性は、固定内積形式に基づいて計算されます。
3) LR フィーチャに対して近傍選択が大まかに行われるため、モザイク アーティファクトが発生します。
これらの欠点により、このパイプラインに沿った既存の方法は、反復機能を指針として主に階層型ネットワーク アーキテクチャに適用でき、特に直接的な高比率アップサンプリングの場合には、より広範囲の構造に容易に拡張できません。
これらの問題に対して、私たちはあらゆる方法論的設計を細心の注意を払って最適化します。
具体的には、まず、意味認識と詳細認識の両方の観点から、明示的に制御可能なクエリキー特徴のアライメントを提案し、次に、適切にアライメントされたクエリキー特徴間の類似性を柔軟に計算するためのパラメータ化されたペア中心差分畳み込みブロックを構築します。
さらに、HR 特徴に関するきめの細かい近傍選択戦略を開発します。これは、モザイクアーチファクトを軽減するためにシンプルでありながら効果的です。
これらの慎重な設計に基づいて、ReSFU という名前の更新された類似性に基づく特徴アップサンプリング フレームワークを体系的に構築します。
広範な実験により、私たちが提案する ReSFU が直接高比率アップサンプリング方式でさまざまなタイプのアーキテクチャにうまく適用でき、さまざまなセグメンテーション アプリケーションで満足のいくパフォーマンスを一貫して達成し、優れた汎用性と導入の容易さを示していることが実証されています。

要約(オリジナル)

Feature upsampling is a fundamental and indispensable ingredient of almost all current network structures for image segmentation tasks. Recently, a popular similarity-based feature upsampling pipeline has been proposed, which utilizes a high-resolution feature as guidance to help upsample the low-resolution deep feature based on their local similarity. Albeit achieving promising performance, this pipeline has specific limitations: 1) HR query and LR key features are not well aligned; 2) the similarity between query-key features is computed based on the fixed inner product form; 3) neighbor selection is coarsely operated on LR features, resulting in mosaic artifacts. These shortcomings make the existing methods along this pipeline primarily applicable to hierarchical network architectures with iterative features as guidance and they are not readily extended to a broader range of structures, especially for a direct high-ratio upsampling. Against the issues, we meticulously optimize every methodological design. Specifically, we firstly propose an explicitly controllable query-key feature alignment from both semantic-aware and detail-aware perspectives, and then construct a parameterized paired central difference convolution block for flexibly calculating the similarity between the well-aligned query-key features. Besides, we develop a fine-grained neighbor selection strategy on HR features, which is simple yet effective for alleviating mosaic artifacts. Based on these careful designs, we systematically construct a refreshed similarity-based feature upsampling framework named ReSFU. Extensive experiments substantiate that our proposed ReSFU is finely applicable to various types of architectures in a direct high-ratio upsampling manner, and consistently achieves satisfactory performance on different segmentation applications, showing superior generality and ease of deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google