SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation

要約

最近のリアルタイム セマンティック セグメンテーション手法は通常、追加のセマンティック ブランチを採用して、豊かな長距離コンテキストを追求します。
ただし、分岐を追加すると、望ましくない計算オーバーヘッドが発生し、推論速度が遅くなります。
このジレンマを解消するために、リアルタイム セグメンテーション用のトランスフォーマー セマンティック情報を備えた単一ブランチ CNN である SCTNet を提案します。
SCTNet は、軽量の単一ブランチ CNN の高い効率を維持しながら、推論不要のセマンティック ブランチの豊富なセマンティック表現を利用します。
SCTNet は、長距離コンテキストを抽出する優れた能力を考慮して、トレーニング専用のセマンティック ブランチとしてトランスフォーマーを利用します。
提案されたトランスフォーマーのような CNN ブロック CFBlock とセマンティック情報調整モジュールの助けを借りて、SCTNet はトレーニング中のトランスフォーマー ブランチから豊富なセマンティック情報をキャプチャできます。
推論中に、単一ブランチ CNN のみをデプロイする必要があります。
私たちは、Cityscapes、ADE20K、COCO-Stuff-10K について広範な実験を実施し、その結果、私たちの手法が新しい最先端のパフォーマンスを達成することが示されました。
コードとモデルは https://github.com/xzz777/SCTNet で入手できます。

要約(オリジナル)

Recent real-time semantic segmentation methods usually adopt an additional semantic branch to pursue rich long-range context. However, the additional branch incurs undesirable computational overhead and slows inference speed. To eliminate this dilemma, we propose SCTNet, a single branch CNN with transformer semantic information for real-time segmentation. SCTNet enjoys the rich semantic representations of an inference-free semantic branch while retaining the high efficiency of lightweight single branch CNN. SCTNet utilizes a transformer as the training-only semantic branch considering its superb ability to extract long-range context. With the help of the proposed transformer-like CNN block CFBlock and the semantic information alignment module, SCTNet could capture the rich semantic information from the transformer branch in training. During the inference, only the single branch CNN needs to be deployed. We conduct extensive experiments on Cityscapes, ADE20K, and COCO-Stuff-10K, and the results show that our method achieves the new state-of-the-art performance. The code and model is available at https://github.com/xzz777/SCTNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google