Lightweight and Progressively-Scalable Networks for Semantic Segmentation

要約

マルチスケール学習フレームワークは、セマンティックセグメンテーションを強化するための有能なモデルクラスと見なされてきました。
それにもかかわらず、この問題は、特に実際の展開では簡単ではありません。実際の展開では、推論の待ち時間に高い効率が要求されることがよくあります。
この論文では、畳み込みブロックの設計（畳み込みのタイプと畳み込み内のチャネル数）、および複数のスケールにわたる相互作用の方法を、すべてセマンティックセグメンテーションの軽量な観点から徹底的に分析します。
このような詳細な比較により、3つの原則を結論付け、それに応じて、ネットワークの複雑さを貪欲に新たに拡張する軽量でプログレッシブスケーラブルネットワーク（LPS-Net）を考案します。
技術的には、LPS-Netは最初に、小さなネットワークを構築するための原則を利用します。
次に、LPS-Netは、最高の速度と精度のトレードオフを満たすために、一度に1つの次元（畳み込みブロックの数、チャネルの数、または入力解像度）を拡張することにより、小さなネットワークをより大きなネットワークに段階的に拡張します。
3つのデータセットで実施された広範な実験は、いくつかの効率的なセマンティックセグメンテーション方法に対するLPS-Netの優位性を一貫して示しています。
さらに注目すべきことに、当社のLPS-Netは、Cityscapesテストセットで73.4％mIoUを達成し、NVIDIA GTX 1080Tiで413.5FPSの速度を達成し、現在の状態に対して1.5％のパフォーマンス向上と65％のスピードアップを実現しました。
-アートSTDC。
コードは\url{https://github.com/YihengZhang-CV/LPS-Net}で入手できます。

要約(オリジナル)

Multi-scale learning frameworks have been regarded as a capable class of models to boost semantic segmentation. The problem nevertheless is not trivial especially for the real-world deployments, which often demand high efficiency in inference latency. In this paper, we thoroughly analyze the design of convolutional blocks (the type of convolutions and the number of channels in convolutions), and the ways of interactions across multiple scales, all from lightweight standpoint for semantic segmentation. With such in-depth comparisons, we conclude three principles, and accordingly devise Lightweight and Progressively-Scalable Networks (LPS-Net) that novelly expands the network complexity in a greedy manner. Technically, LPS-Net first capitalizes on the principles to build a tiny network. Then, LPS-Net progressively scales the tiny network to larger ones by expanding a single dimension (the number of convolutional blocks, the number of channels, or the input resolution) at one time to meet the best speed/accuracy tradeoff. Extensive experiments conducted on three datasets consistently demonstrate the superiority of LPS-Net over several efficient semantic segmentation methods. More remarkably, our LPS-Net achieves 73.4% mIoU on Cityscapes test set, with the speed of 413.5FPS on an NVIDIA GTX 1080Ti, leading to a performance improvement by 1.5% and a 65% speed-up against the state-of-the-art STDC. Code is available at \url{https://github.com/YihengZhang-CV/LPS-Net}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google