False Negative Reduction in Semantic Segmentation under Domain Shift using Depth Estimation

要約

最先端のディープ ニューラル ネットワークは、セマンティック セグメンテーションで優れたパフォーマンスを発揮します。
ただし、それらのパフォーマンスは、トレーニング データによって表されるドメインに関連付けられています。
オープン ワールドのシナリオは不正確な予測を引き起こし、自動運転などの安全関連のアプリケーションでは危険です。
この作業では、単眼深度推定を使用してセマンティック セグメンテーション予測を強化し、ドメイン シフトの存在下で検出されないオブジェクトの発生を減らすことでセグメンテーションを改善します。
この目的のために、特定のセマンティック セグメンテーション ネットワークと並行して動作する前景背景マスクを生成する修正されたセグメンテーション ネットワークを介して深度ヒートマップを推測します。
両方のセグメンテーション マスクは、フォアグラウンド クラス (ここでは道路利用者) に焦点を当てて集約され、偽陰性を減らします。
誤検知の発生も減らすために、不確実性の推定に基づいて剪定を適用します。
私たちのアプローチは、セマンティック セグメンテーション ネットワークの出力を後処理するという意味でモジュラーです。
私たちの実験では、基本的なセマンティック セグメンテーション予測と比較して、最も重要なクラスの非検出オブジェクトが少なくなり、他のドメインへの一般化が強化されていることが観察されました。

要約(オリジナル)

State-of-the-art deep neural networks demonstrate outstanding performance in semantic segmentation. However, their performance is tied to the domain represented by the training data. Open world scenarios cause inaccurate predictions which is hazardous in safety relevant applications like automated driving. In this work, we enhance semantic segmentation predictions using monocular depth estimation to improve segmentation by reducing the occurrence of non-detected objects in presence of domain shift. To this end, we infer a depth heatmap via a modified segmentation network which generates foreground-background masks, operating in parallel to a given semantic segmentation network. Both segmentation masks are aggregated with a focus on foreground classes (here road users) to reduce false negatives. To also reduce the occurrence of false positives, we apply a pruning based on uncertainty estimates. Our approach is modular in a sense that it post-processes the output of any semantic segmentation network. In our experiments, we observe less non-detected objects of most important classes and an enhanced generalization to other domains compared to the basic semantic segmentation prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google