Beyond Classification: Definition and Density-based Estimation of Calibration in Object Detection

要約

ディープ ニューラル ネットワーク (DNN) は、さまざまなコンピューター ビジョン タスクにおける優れた予測パフォーマンスにもかかわらず、過度に自信のある予測を行う傾向があり、安全性が重要なアプリケーションでの広範な使用を妨げています。
最近、DNN を調整する試みが行われていますが、その取り組みのほとんどは主に分類タスクに焦点を当てており、DNN ベースの物体検出器は無視されています。
最近のいくつかの研究では物体検出のためのキャリブレーションに取り組み、微分可能なペナルティを提案していますが、それらはいずれもキャリブレーションにおける確立された概念の一貫した推定材料ではありません。
この作業では、このタスクに特化したキャリブレーション誤差の定義と推定という課題に取り組みます。
特に、分類キャリブレーション誤差の定義を適応させて、物体検出に関連する微妙なニュアンスや、構造化された出力空間での予測をより一般的に処理します。
さらに、カーネル密度推定を利用した、検出校正誤差の一貫した微分可能な推定量を提案します。
私たちの実験では、同様の検出性能を維持しながら、競合するトレインタイムおよびポストホックキャリブレーション方法に対する推定器の有効性を実証しています。

要約(オリジナル)

Despite their impressive predictive performance in various computer vision tasks, deep neural networks (DNNs) tend to make overly confident predictions, which hinders their widespread use in safety-critical applications. While there have been recent attempts to calibrate DNNs, most of these efforts have primarily been focused on classification tasks, thus neglecting DNN-based object detectors. Although several recent works addressed calibration for object detection and proposed differentiable penalties, none of them are consistent estimators of established concepts in calibration. In this work, we tackle the challenge of defining and estimating calibration error specifically for this task. In particular, we adapt the definition of classification calibration error to handle the nuances associated with object detection, and predictions in structured output spaces more generally. Furthermore, we propose a consistent and differentiable estimator of the detection calibration error, utilizing kernel density estimation. Our experiments demonstrate the effectiveness of our estimator against competing train-time and post-hoc calibration methods, while maintaining similar detection performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google