SlimSeg: Slimmable Semantic Segmentation with Boundary Supervision

要約

正確なセマンティックセグメンテーションモデルは通常、かなりの計算リソースを必要とし、実際のアプリケーションでの使用を妨げます。
最近の作品は、高速推論を実現するために巧妙に作成された軽量モデルに依存しています。
ただし、これらのモデルは、さまざまな精度と効率の要件に柔軟に適応することはできません。
この論文では、必要な精度と効率のトレードオフに応じて、推論中にさまざまな容量で実行できる、シンプルで効果的なスリム化可能なセマンティックセグメンテーション（SlimSeg）メソッドを提案します。
より具体的には、トレーニング中に段階的に下向きの知識蒸留を行うことにより、パラメータ化されたチャネルスリミングを採用します。
各サブモデルのセグメンテーション結果の違いは主にセマンティック境界の近くにあるという観察に動機付けられて、各サブモデルのパフォーマンスをさらに向上させるために、追加の境界ガイド付きセマンティックセグメンテーション損失を導入します。
さまざまな主流ネットワークを備えた提案されたSlimSegが、計算コストの動的調整と独立したモデルよりも優れたパフォーマンスを提供する柔軟なモデルを生成できることを示します。
セマンティックセグメンテーションベンチマーク、CityscapesおよびCamVidに関する広範な実験は、フレームワークの一般化能力を示しています。

要約(オリジナル)

Accurate semantic segmentation models typically require significant computational resources, inhibiting their use in practical applications. Recent works rely on well-crafted lightweight models to achieve fast inference. However, these models cannot flexibly adapt to varying accuracy and efficiency requirements. In this paper, we propose a simple but effective slimmable semantic segmentation (SlimSeg) method, which can be executed at different capacities during inference depending on the desired accuracy-efficiency tradeoff. More specifically, we employ parametrized channel slimming by stepwise downward knowledge distillation during training. Motivated by the observation that the differences between segmentation results of each submodel are mainly near the semantic borders, we introduce an additional boundary guided semantic segmentation loss to further improve the performance of each submodel. We show that our proposed SlimSeg with various mainstream networks can produce flexible models that provide dynamic adjustment of computational cost and better performance than independent models. Extensive experiments on semantic segmentation benchmarks, Cityscapes and CamVid, demonstrate the generalization ability of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google