Uncertainty and Prediction Quality Estimation for Semantic Segmentation via Graph Neural Networks

要約

自動車の認識や医療画像などの安全性が重要なアプリケーションでセマンティック セグメンテーションにディープ ニューラル ネットワーク (DNN) を採用する場合、実行時にパフォーマンスを推定することが重要です。
不確実性の推定または予測品質の推定を介して。
以前の研究は主にピクセルレベルで不確実性の推定を実行していました。
一連の研究では、接続されたコンポーネントごと（セグメントごと）の視点が採用され、いわゆるメタ分類と回帰を実行してオブジェクトレベルでの不確実性推定にアプローチし、それぞれ不確実性と予測品質を推定しました。
これらの研究では、各予測セグメントが個別に考慮されて、その不確実性または予測品質が推定されます。
ただし、隣接するセグメントは、特定の予測セグメントが高品質であるかどうかについての追加のヒントを提供する可能性があり、それを本研究で研究します。
セグメントレベルのメトリクスを示す不確実性に基づいて、グラフニューラルネットワーク（GNN）を使用して、特定のセグメントのメトリクスだけでなく隣接するセグメントのメトリクスの関数として、特定のセグメントの品質の関係をモデル化します。
さまざまな GNN アーキテクチャを比較し、顕著なパフォーマンスの向上を達成しました。

要約(オリジナル)

When employing deep neural networks (DNNs) for semantic segmentation in safety-critical applications like automotive perception or medical imaging, it is important to estimate their performance at runtime, e.g. via uncertainty estimates or prediction quality estimates. Previous works mostly performed uncertainty estimation on pixel-level. In a line of research, a connected-component-wise (segment-wise) perspective was taken, approaching uncertainty estimation on an object-level by performing so-called meta classification and regression to estimate uncertainty and prediction quality, respectively. In those works, each predicted segment is considered individually to estimate its uncertainty or prediction quality. However, the neighboring segments may provide additional hints on whether a given predicted segment is of high quality, which we study in the present work. On the basis of uncertainty indicating metrics on segment-level, we use graph neural networks (GNNs) to model the relationship of a given segment’s quality as a function of the given segment’s metrics as well as those of its neighboring segments. We compare different GNN architectures and achieve a notable performance improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google