Learning Implicit Feature Alignment Function for Semantic Segmentation

要約

高レベルのコンテキスト情報を低レベルの詳細と統合することは、セマンティックセグメンテーションにおいて最も重要です。
この目的に向けて、ほとんどの既存のセグメンテーションモデルは、双線形アップサンプリングと畳み込みを異なる縮尺のフィーチャマップに適用し、それらを同じ解像度で位置合わせします。
ただし、双線形アップサンプリングは、これらの特徴マップで学習された正確な情報を曖昧にし、畳み込みは余分な計算コストを発生させます。
これらの問題に対処するために、Implicit Feature Alignment関数（IFA）を提案します。
私たちの方法は、座標ベースのニューラルネットワークを使用して信号のフィールドを指定する暗黙のニューラル表現の急速に拡大しているトピックに触発されています。
IFAでは、特徴ベクトルは2Dの情報フィールドを表すものと見なされます。
クエリ座標が与えられると、相対座標を持つ近くの特徴ベクトルがマルチレベルの特徴マップから取得され、MLPに入力されて、対応する出力が生成されます。
そのため、IFAは、フィーチャマップをさまざまなレベルで暗黙的に位置合わせし、任意の解像度でセグメンテーションマップを作成できます。
Cityscapes、PASCAL Context、ADE20Kなどの複数のデータセットでIFAの有効性を示します。
私たちの方法は、さまざまなアーキテクチャの改善と組み合わせることができ、一般的なベンチマークで最先端の計算と精度のトレードオフを実現します。
コードはhttps://github.com/hzhupku/IFAで利用できるようになります。

要約(オリジナル)

Integrating high-level context information with low-level details is of central importance in semantic segmentation. Towards this end, most existing segmentation models apply bilinear up-sampling and convolutions to feature maps of different scales, and then align them at the same resolution. However, bilinear up-sampling blurs the precise information learned in these feature maps and convolutions incur extra computation costs. To address these issues, we propose the Implicit Feature Alignment function (IFA). Our method is inspired by the rapidly expanding topic of implicit neural representations, where coordinate-based neural networks are used to designate fields of signals. In IFA, feature vectors are viewed as representing a 2D field of information. Given a query coordinate, nearby feature vectors with their relative coordinates are taken from the multi-level feature maps and then fed into an MLP to generate the corresponding output. As such, IFA implicitly aligns the feature maps at different levels and is capable of producing segmentation maps in arbitrary resolutions. We demonstrate the efficacy of IFA on multiple datasets, including Cityscapes, PASCAL Context, and ADE20K. Our method can be combined with improvement on various architectures, and it achieves state-of-the-art computation-accuracy trade-off on common benchmarks. Code will be made available at https://github.com/hzhupku/IFA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google