TriangleNet: Edge Prior Augmented Network for Semantic Segmentation through Cross-Task Consistency

要約

この論文では、正確なピクセル単位の分類を達成することを目的として、コンピューター ビジョンにおけるセマンティック セグメンテーションのタスクに取り組みます。
私たちは、有望であることが示されているセマンティック エッジ検出とセマンティック セグメンテーションのためのモデルの共同トレーニングを調査します。
ただし、マルチタスク ネットワークにおける暗黙的なクロスタスク整合性学習には制限があります。
これに対処するために、クロスタスクの一貫性を明示的に強化する新しい「分離されたクロスタスクの一貫性損失」を提案します。
当社のセマンティック セグメンテーション ネットワークである TriangleNet は、Cityscapes テスト セットの和集合に対する平均交差数 (mIoU) において、ベースラインと比較して 2.88\% の大幅な改善を達成しました。
特に、TriangleNet は Cityscapes 上で 77.4\% mIoU/46.2 FPS で動作し、フル解像度でのリアルタイム推論機能を示しています。
マルチスケール推論を使用すると、パフォーマンスがさらに 77.8\% まで向上します。
さらに、TriangleNet は FloodNet データセットのベースラインを常に上回っており、その堅牢な一般化機能を示しています。
提案された方法は、セマンティック セグメンテーションを進めるためのマルチタスク学習と明示的なクロスタスク一貫性強化の重要性を強調し、リアルタイム セマンティック セグメンテーションにおけるマルチタスクの可能性を強調します。

要約(オリジナル)

This paper addresses the task of semantic segmentation in computer vision, aiming to achieve precise pixel-wise classification. We investigate the joint training of models for semantic edge detection and semantic segmentation, which has shown promise. However, implicit cross-task consistency learning in multi-task networks is limited. To address this, we propose a novel ‘decoupled cross-task consistency loss’ that explicitly enhances cross-task consistency. Our semantic segmentation network, TriangleNet, achieves a substantial 2.88\% improvement over the Baseline in mean Intersection over Union (mIoU) on the Cityscapes test set. Notably, TriangleNet operates at 77.4\% mIoU/46.2 FPS on Cityscapes, showcasing real-time inference capabilities at full resolution. With multi-scale inference, performance is further enhanced to 77.8\%. Furthermore, TriangleNet consistently outperforms the Baseline on the FloodNet dataset, demonstrating its robust generalization capabilities. The proposed method underscores the significance of multi-task learning and explicit cross-task consistency enhancement for advancing semantic segmentation and highlights the potential of multitasking in real-time semantic segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google