Evaluation of Out-of-Distribution Detection Performance on Autonomous Driving Datasets

要約

安全対策は、重要なアプリケーションに対してディープ ニューラル ネットワーク (DNN) の意図されたパフォーマンスをどの程度評価するかを体系的に調査する必要があります。
高次元 DNN の検証方法が不足しているため、許容されるパフォーマンスと配布外 (OOD) サンプルの処理との間でトレードオフが必要になります。
この研究では、予測されたクラスの最も可能性の高いクラス条件付きガウス分布に基づくマハラノビス距離 (MD) を OOD スコアとして適用することにより、セマンティック セグメンテーション DNN からの出力の拒否を評価します。
この評価は、Cityscapes データセットでトレーニングされ、4 つの自動車データセットでテストされた 3 つの DNN に従っており、目に見えないデータセットに適用した場合でも、ピクセル カバレッジを犠牲にして分類リスクを大幅に削減できることがわかりました。
私たちの調査結果の適用可能性は、安全対策の正当化をサポートし、自動車の認識における DNN の安全な使用を主張する際にその使用を動機付けるでしょう。

要約(オリジナル)

Safety measures need to be systemically investigated to what extent they evaluate the intended performance of Deep Neural Networks (DNNs) for critical applications. Due to a lack of verification methods for high-dimensional DNNs, a trade-off is needed between accepted performance and handling of out-of-distribution (OOD) samples. This work evaluates rejecting outputs from semantic segmentation DNNs by applying a Mahalanobis distance (MD) based on the most probable class-conditional Gaussian distribution for the predicted class as an OOD score. The evaluation follows three DNNs trained on the Cityscapes dataset and tested on four automotive datasets and finds that classification risk can drastically be reduced at the cost of pixel coverage, even when applied on unseen datasets. The applicability of our findings will support legitimizing safety measures and motivate their usage when arguing for safe usage of DNNs in automotive perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google