On the Calibration of Uncertainty Estimation in LiDAR-based Semantic Segmentation

要約

ディープラーニングに基づく知覚モデルの信頼度キャリブレーションは、その信頼性において重要な役割を果たす。特に自律走行の文脈では、予測や計画のような下流のタスクは、正確な信頼度推定に依存する。セマティックセグメンテーションのようなポイント単位の多クラス分類タスクでは、モデルは重いクラスの不均衡に対処しなければならない。これらのクラスが十分に代表されていないため、より小さいインスタンスを持つクラスの信頼度校正は困難であるが、安全上の理由だけでなく、不可欠である。我々は、個々のクラスに関するセマンティックセグメンテーションモデルの信頼度校正の品質を測定するための指標を提案する。この指標は、不確実性推定値に基づいて各クラスのスパース化曲線を計算することにより算出される。我々はこの分類校正メトリックを用いて、不確かさ推定法を、十分に代表されていないクラスの信頼校正に関して評価する。さらに、手書きデータセットや自動注釈データセットの品質を向上させるために、ラベルの問題を自動的に発見する手法の二重の利用法を提案する。

要約(オリジナル)

The confidence calibration of deep learning-based perception models plays a crucial role in their reliability. Especially in the context of autonomous driving, downstream tasks like prediction and planning depend on accurate confidence estimates. In point-wise multiclass classification tasks like sematic segmentation the model has to deal with heavy class imbalances. Due to their underrepresentation, the confidence calibration of classes with smaller instances is challenging but essential, not only for safety reasons. We propose a metric to measure the confidence calibration quality of a semantic segmentation model with respect to individual classes. It is calculated by computing sparsification curves for each class based on the uncertainty estimates. We use the classification calibration metric to evaluate uncertainty estimation methods with respect to their confidence calibration of underrepresented classes. We furthermore suggest a double use for the method to automatically find label problems to improve the quality of hand- or auto-annotated datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL