Entropy-Based Feature Extraction For Real-Time Semantic Segmentation

要約

このホワイトペーパーでは、リソースに制約のあるセマンティックセグメンテーションのための効率的なパッチベースの計算モジュールである、造られたエントロピーベースのパッチエンコーダ（EPE）モジュールを紹介します。
EPEモジュールは、3つの軽量の完全畳み込みエンコーダーで構成され、それぞれが異なる量のエントロピーを持つ画像パッチから特徴を抽出します。
エントロピーの高いパッチはパラメーターの数が最も多いエンコーダーによって処理され、エントロピーが中程度のパッチはパラメーターの数が中程度のエンコーダーによって処理され、エントロピーが低いパッチは最小のエンコーダーによって処理されます。
モジュールの背後にある直感は次のとおりです。エントロピーの高いパッチにはより多くの情報が含まれるため、小さなエンコーダーを使用して処理できるエントロピーの低いパッチとは異なり、より多くのパラメーターを備えたエンコーダーが必要です。
その結果、小さなエンコーダーを介してパッチの一部を処理することで、モジュールの計算コストを大幅に削減できます。
実験によると、EPEは、計算コストをわずかに増加させるだけで、既存のリアルタイムセマンティックセグメンテーションモデルのパフォーマンスを向上させることができます。
具体的には、EPEはDFANet AのmIOUパフォーマンスを0.9％向上させ、パラメーター数をわずか1.2％増加させ、EDANetのmIOUパフォーマンスをモデルパラメーターを10％増加させて1％向上させます。

要約(オリジナル)

This paper introduces an efficient patch-based computational module, coined Entropy-based Patch Encoder (EPE) module, for resource-constrained semantic segmentation. The EPE module consists of three lightweight fully-convolutional encoders, each extracting features from image patches with a different amount of entropy. Patches with high entropy are being processed by the encoder with the largest number of parameters, patches with moderate entropy are processed by the encoder with a moderate number of parameters, and patches with low entropy are processed by the smallest encoder. The intuition behind the module is the following: as patches with high entropy contain more information, they need an encoder with more parameters, unlike low entropy patches, which can be processed using a small encoder. Consequently, processing part of the patches via the smaller encoder can significantly reduce the computational cost of the module. Experiments show that EPE can boost the performance of existing real-time semantic segmentation models with a slight increase in the computational cost. Specifically, EPE increases the mIOU performance of DFANet A by 0.9% with only 1.2% increase in the number of parameters and the mIOU performance of EDANet by 1% with 10% increase of the model parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google