Dense Prediction with Attentive Feature Aggregation

要約

さまざまなレイヤーにまたがるフィーチャからの情報を集約することは、密な予測モデルにとって不可欠な操作です。
表現力は限られていますが、機能連結は集約操作の選択を支配します。
このホワイト ペーパーでは、Attentive Feature Aggregation (AFA) を導入して、さまざまなネットワーク レイヤーをより表現力豊かな非線形操作と融合させます。
AFA は、空間アテンションとチャネル アテンションの両方を利用して、レイヤー アクティベーションの加重平均を計算します。
ニューラル ボリューム レンダリングに着想を得て、AFA を Scale-Space Rendering (SSR) で拡張し、マルチスケール予測の後期融合を実行します。
AFA は、幅広い既存のネットワーク設計に適用できます。
私たちの実験では、Cityscapes、BDD100K、Mapillary Vistas などの困難なセマンティック セグメンテーション ベンチマークが、無視できるほどの計算およびパラメーターのオーバーヘッドで一貫して大幅に改善されていることが示されています。
特に、AFA は、Cityscapes で Deep Layer Aggregation (DLA) モデルのパフォーマンスを約 6% mIoU 向上させます。
私たちの実験的分析は、AFA がセグメンテーション マップを徐々に改良し、境界の詳細を改善することを学習し、BSDS500 および NYUDv2 の境界検出ベンチマークで新しい最先端の結果につながることを示しています。
コードとビデオのリソースは、http://vis.xyz/pub/dla-afa で入手できます。

要約(オリジナル)

Aggregating information from features across different layers is an essential operation for dense prediction models. Despite its limited expressiveness, feature concatenation dominates the choice of aggregation operations. In this paper, we introduce Attentive Feature Aggregation (AFA) to fuse different network layers with more expressive non-linear operations. AFA exploits both spatial and channel attention to compute weighted average of the layer activations. Inspired by neural volume rendering, we extend AFA with Scale-Space Rendering (SSR) to perform late fusion of multi-scale predictions. AFA is applicable to a wide range of existing network designs. Our experiments show consistent and significant improvements on challenging semantic segmentation benchmarks, including Cityscapes, BDD100K, and Mapillary Vistas, at negligible computational and parameter overhead. In particular, AFA improves the performance of the Deep Layer Aggregation (DLA) model by nearly 6% mIoU on Cityscapes. Our experimental analyses show that AFA learns to progressively refine segmentation maps and to improve boundary details, leading to new state-of-the-art results on boundary detection benchmarks on BSDS500 and NYUDv2. Code and video resources are available at http://vis.xyz/pub/dla-afa.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google