SegBlocks: Block-Based Dynamic Resolution Networks for Real-Time Segmentation

要約

SegBlocksは、画像領域の複雑さに応じて処理解像度を動的に調整することで、既存のニューラルネットワークの計算量を削減します。本手法では、画像をブロックに分割し、複雑度の低いブロックをダウンサンプリングすることで、演算回数とメモリ消費量を削減する。また、複雑な領域を選択する軽量なポリシーネットワークは、強化学習を用いて学習される。さらに、ブロック単位で画像を処理するために、CUDAで実装されたいくつかのモジュールを紹介する。最も重要なのは、我々の新しいモジュールであるBlockPadが、メモリ消費を抑えつつ、既存の手法が苦しんでいるブロック境界での特徴の不連続性を防ぐことである。Cityscapes、Camvid、Mapillary Vistasの各データセットを用いたセマンティックセグメンテーションの実験では、画像を動的に処理することで、同様の複雑性を持つ静的ベースラインと比較して、精度対複雑性のトレードオフが良好であることが示されました。例えば、我々の手法はSwiftNet-RN18の浮動小数点演算の数を60%減らし、推論速度を50%向上させ、CityscapesのmIoU精度は0.3%しか低下させません。

要約(オリジナル)

SegBlocks reduces the computational cost of existing neural networks, by dynamically adjusting the processing resolution of image regions based on their complexity. Our method splits an image into blocks and downsamples blocks of low complexity, reducing the number of operations and memory consumption. A lightweight policy network, selecting the complex regions, is trained using reinforcement learning. In addition, we introduce several modules implemented in CUDA to process images in blocks. Most important, our novel BlockPad module prevents the feature discontinuities at block borders of which existing methods suffer, while keeping memory consumption under control. Our experiments on Cityscapes, Camvid and Mapillary Vistas datasets for semantic segmentation show that dynamically processing images offers a better accuracy versus complexity trade-off compared to static baselines of similar complexity. For instance, our method reduces the number of floating-point operations of SwiftNet-RN18 by 60% and increases the inference speed by 50%, with only 0.3% decrease in mIoU accuracy on Cityscapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL