DWRSeg: Rethinking Efficient Acquisition of Multi-scale Contextual Information for Real-time Semantic Segmentation

要約

現在の研究の多くは、マルチレートの深さ方向拡張畳み込みを直接採用して、1 つの入力特徴マップからマルチスケールのコンテキスト情報を同時にキャプチャし、リアルタイム セマンティック セグメンテーションの特徴抽出効率を向上させています。
ただし、この設計では、不合理な構造とハイパーパラメーターが原因で、マルチスケールのコンテキスト情報へのアクセスが困難になる可能性があります。
マルチスケールのコンテキスト情報を描画する難易度を下げるために、元の単一ステップ手法を領域残存化とセマンティック残存化の 2 つのステップに分解する、高効率のマルチスケール特徴抽出法を提案します。
この方法では、マルチレートの深さ方向拡張畳み込みが特徴抽出においてより単純な役割を果たします。つまり、最初のステップで提供された領域形式のそれぞれの簡潔な特徴マップに基づいて、2 番目のステップで 1 つの所望の受容野を使用して単純なセマンティックベースの形態学的フィルタリングを実行します。
効率を向上させるためのステップです。
さらに、各ネットワークステージの拡張率と拡張畳み込みの容量は、達成可能な領域形式のすべての特徴マップを完全に活用するように精緻化されています。したがって、新しい拡張ワイズ残差（DWR）モジュールと単純反転モジュールを設計します。
高レベル ネットワークと低レベル ネットワークにそれぞれ対応する残留 (SIR) モジュールがあり、強力な DWR セグメンテーション (DWRSeg) ネットワークを形成します。
Cityscapes と CamVid データセットに関する広範な実験により、軽量化に加えて、精度と推論速度の間の最先端のトレードオフを達成することにより、私たちの手法の有効性が実証されました。
事前トレーニングやトレーニング トリックに頼ることなく、NVIDIA GeForce GTX 1080 Ti カード 1 枚で 319.5 FPS の速度で Cityscapes テスト セットで 72.7% の mIoU を達成しました。これは、69.5 FPS および 0.8% の速度という最新の方法を超えています。
ミオウ。
コードとトレーニングされたモデルは公開されています。

要約(オリジナル)

Many current works directly adopt multi-rate depth-wise dilated convolutions to capture multi-scale contextual information simultaneously from one input feature map, thus improving the feature extraction efficiency for real-time semantic segmentation. However, this design may lead to difficult access to multi-scale contextual information because of the unreasonable structure and hyperparameters. To lower the difficulty of drawing multi-scale contextual information, we propose a highly efficient multi-scale feature extraction method, which decomposes the original single-step method into two steps, Region Residualization-Semantic Residualization. In this method, the multi-rate depth-wise dilated convolutions take a simpler role in feature extraction: performing simple semantic-based morphological filtering with one desired receptive field in the second step based on each concise feature map of region form provided by the first step, to improve their efficiency. Moreover, the dilation rates and the capacity of dilated convolutions for each network stage are elaborated to fully utilize all the feature maps of region form that can be achieved.Accordingly, we design a novel Dilation-wise Residual (DWR) module and a Simple Inverted Residual (SIR) module for the high and low level network, respectively, and form a powerful DWR Segmentation (DWRSeg) network. Extensive experiments on the Cityscapes and CamVid datasets demonstrate the effectiveness of our method by achieving a state-of-the-art trade-off between accuracy and inference speed, in addition to being lighter weight. Without pretraining or resorting to any training trick, we achieve an mIoU of 72.7% on the Cityscapes test set at a speed of 319.5 FPS on one NVIDIA GeForce GTX 1080 Ti card, which exceeds the latest methods of a speed of 69.5 FPS and 0.8% mIoU. The code and trained models are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google