Class Based Thresholding in Early Exit Semantic Segmentation Networks

要約

クラスベースのしきい値処理 (CBT) を提案して、早期終了セマンティック セグメンテーション モデルの計算コストを削減しながら、平均交差オーバー ユニオン (mIoU) パフォーマンスを維持します。
CBT の重要なアイデアは、自然に発生する神経崩壊現象を利用することです。
具体的には、トレーニング セット内の各クラスの平均予測確率を計算することによって、CBT は各クラスに異なるマスキングしきい値を割り当て、予測しやすいクラスに属するピクセルの計算をより早く終了できるようにします。
都市景観と ADE20K データセットに対する CBT の有効性を示します。
CBT は、以前の最先端の早期終了モデルと比較して、計算コストを $23\%$ 削減できます。

要約(オリジナル)

We propose Class Based Thresholding (CBT) to reduce the computational cost of early exit semantic segmentation models while preserving the mean intersection over union (mIoU) performance. A key idea of CBT is to exploit the naturally-occurring neural collapse phenomenon. Specifically, by calculating the mean prediction probabilities of each class in the training set, CBT assigns different masking threshold values to each class, so that the computation can be terminated sooner for pixels belonging to easy-to-predict classes. We show the effectiveness of CBT on Cityscapes and ADE20K datasets. CBT can reduce the computational cost by $23\%$ compared to the previous state-of-the-art early exit models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google