U-CE: Uncertainty-aware Cross-Entropy for Semantic Segmentation

要約

ディープ ニューラル ネットワークは、さまざまなタスクで優れたパフォーマンスを示していますが、堅牢性、信頼性の欠如、および自信過剰の傾向により、自動運転などの安全性が重要なアプリケーションへの導入には課題が生じています。
この点において、モデルの予測に固有の不確実性を定量化することは、これらの欠点に対処するための有望な取り組みです。
この研究では、よく知られているクロスエントロピー損失 (CE) のピクセルごとの重み付けによって動的予測不確実性をトレーニング プロセスに組み込む、新しい不確実性を認識したクロスエントロピー損失 (U-CE) を紹介します。
広範な実験を通じて、ResNet-18 と ResNet-101 という 2 つの一般的なバックボーン アーキテクチャを使用した 2 つのベンチマーク データセット、Cityscapes と ACDC での通常の CE トレーニングに対する U-CE の優位性を実証しました。
U-CE を使用すると、セグメンテーションのパフォーマンスを向上させるだけでなく、トレーニング後に意味のある不確実性を提供するモデルをトレーニングすることができます。
その結果、当社はより堅牢で信頼性の高いセグメンテーション モデルの開発に貢献し、最終的にはセーフティ クリティカルなアプリケーションやそれ以降の分野で最先端の技術を進歩させます。

要約(オリジナル)

Deep neural networks have shown exceptional performance in various tasks, but their lack of robustness, reliability, and tendency to be overconfident pose challenges for their deployment in safety-critical applications like autonomous driving. In this regard, quantifying the uncertainty inherent to a model’s prediction is a promising endeavour to address these shortcomings. In this work, we present a novel Uncertainty-aware Cross-Entropy loss (U-CE) that incorporates dynamic predictive uncertainties into the training process by pixel-wise weighting of the well-known cross-entropy loss (CE). Through extensive experimentation, we demonstrate the superiority of U-CE over regular CE training on two benchmark datasets, Cityscapes and ACDC, using two common backbone architectures, ResNet-18 and ResNet-101. With U-CE, we manage to train models that not only improve their segmentation performance but also provide meaningful uncertainties after training. Consequently, we contribute to the development of more robust and reliable segmentation models, ultimately advancing the state-of-the-art in safety-critical applications and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google