Modeling Multimodal Aleatoric Uncertainty in Segmentation with Mixture of Stochastic Expert

要約

予測されたセグメンテーションに較正された不確実性を装備することは、安全性が重要なアプリケーションにとって不可欠です。
この作業では、通常、入力画像にあいまいさが存在する場合に、セグメンテーションでデータ固有の不確実性 (別名偶然の不確実性) をキャプチャすることに焦点を当てます。
高次元の出力空間と、あいまいな画像のセグメント化における複数のモードの可能性があるため、セグメンテーションの適切に調整された不確実性を予測することは依然として困難です。
この問題に取り組むために、確率的エキスパート (MoSE) モデルの新しい混合モデルを提案します。このモデルでは、各エキスパート ネットワークが偶然の不確実性の異なるモードを推定し、ゲーティング ネットワークが入力画像がそれらのモードでセグメント化される確率を予測します。
これにより、効率的な 2 レベルの不確実性表現が得られます。
モデルを学習するために、MoSE とグラウンド トゥルース アノテーション間の分布距離を直接最小化するワッサースタインのような損失を開発します。
損失は​​、従来のセグメンテーション品質測定を簡単に統合し、制約緩和によって効率的に最適化できます。
LIDC-IDRI データセットと変更されたマルチモーダル Cityscapes データセットでメソッドを検証します。
結果は、私たちの方法がすべての指標で最先端または競争力のあるパフォーマンスを達成することを示しています.

要約(オリジナル)

Equipping predicted segmentation with calibrated uncertainty is essential for safety-critical applications. In this work, we focus on capturing the data-inherent uncertainty (aka aleatoric uncertainty) in segmentation, typically when ambiguities exist in input images. Due to the high-dimensional output space and potential multiple modes in segmenting ambiguous images, it remains challenging to predict well-calibrated uncertainty for segmentation. To tackle this problem, we propose a novel mixture of stochastic experts (MoSE) model, where each expert network estimates a distinct mode of the aleatoric uncertainty and a gating network predicts the probabilities of an input image being segmented in those modes. This yields an efficient two-level uncertainty representation. To learn the model, we develop a Wasserstein-like loss that directly minimizes the distribution distance between the MoSE and ground truth annotations. The loss can easily integrate traditional segmentation quality measures and be efficiently optimized via constraint relaxation. We validate our method on the LIDC-IDRI dataset and a modified multimodal Cityscapes dataset. Results demonstrate that our method achieves the state-of-the-art or competitive performance on all metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google