Glass Segmentation with Multi Scales and Primary Prediction Guiding

要約

ガラス状の物体は日常生活のどこにでも見られますが、既存の方法ではそれらをセグメント化するのは非常に困難です。
透明シートの特性は、混沌とした背景から透明シートを検出するのに大きな課題を引き起こし、曖昧な分離境界が正確な輪郭の取得をさらに妨げます。
ガラスを無視した移動機械は、透明な障壁に衝突したり、鏡に映った物体の分析が困難になったりする危険性が大きいため、ガラス状の物体の位置を正確に特定し、その輪郭を完全に把握することが非常に重要です。
この論文では、スケール統合戦略とリファインメント手法に触発されて、MGNet という名前の新しいネットワークを提案しました。このネットワークは、空間的関係を抽出する能力を向上させる Fine-Rescaling and Merging モジュール (FRM) と、
プライマリ予測ガイド モジュール (PPG) は、融合された機能から残ったセマンティクスをより適切にマイニングします。
さらに、不確実性を考慮した損失を伴う新しい損失関数でモデルを管理し、信頼性の高いセグメンテーション マップを生成します。
さまざまなデータセットに対してさまざまな設定でトレーニングする必要がある既存のガラス セグメンテーション モデルとは異なり、私たちのモデルは一貫した設定でトレーニングされ、3 つの一般的な公開データセットで優れたパフォーマンスを達成しています。
コードは次の場所で入手できます

要約(オリジナル)

Glass-like objects can be seen everywhere in our daily life which are very hard for existing methods to segment them. The properties of transparencies pose great challenges of detecting them from the chaotic background and the vague separation boundaries further impede the acquisition of their exact contours. Moving machines which ignore glasses have great risks of crashing into transparent barriers or difficulties in analysing objects reflected in the mirror, thus it is of substantial significance to accurately locate glass-like objects and completely figure out their contours. In this paper, inspired by the scale integration strategy and the refinement method, we proposed a brand-new network, named as MGNet, which consists of a Fine-Rescaling and Merging module (FRM) to improve the ability to extract spatially relationship and a Primary Prediction Guiding module (PPG) to better mine the leftover semantics from the fused features. Moreover, we supervise the model with a novel loss function with the uncertainty-aware loss to produce high-confidence segmentation maps. Unlike the existing glass segmentation models that must be trained on different settings with respect to varied datasets, our model are trained under consistent settings and has achieved superior performance on three popular public datasets. Code is available at

arxiv情報

提供元, 利用サービス

arxiv.jp, Google