Run-time Introspection of 2D Object Detection in Automated Driving Systems Using Learning Representations

要約

自動運転システム（ADS）の安全な運用には、周辺環境に存在する様々な物体や道路利用者を確実に検出することが重要である。近年、ディープニューラルネットワーク（DNN）に基づく高精度な物体検出器の開発が進んでいるものの、ADSのようなセーフティクリティカルなアプリケーションでは致命的な結果につながりかねない検出エラーが依然として発生しやすい。この問題に対する効果的な救済策は、自律システムの文脈ではイントロスペクション（introspection）と呼ばれるランタイムモニタリングをシステムに装備することである。これを動機として、我々は、DNNベースの2Dオブジェクト検出のフレームレベルで動作し、ニューラルネットワークの活性化パターンを活用する、新しいイントロスペクションソリューションを紹介する。提案するアプローチは、いくつかの異なるモードを用いて、物体検出器のバックボーンの神経活性化パターンを前処理する。また、広範な比較分析と公平な比較を行うために、KITTIとBDDデータセットで評価した1段階と2段階の物体検出器を用いて、2D物体検出におけるエラー検出のためのいくつかの最先端の（SOTA）イントロスペクションメカニズムを適応し実装する。エラー検出、データセットシフトへの適応性、計算量とメモリリソースの必要性の観点から、提案ソリューションの性能を比較する。性能評価により、提案するイントロスペクション・ソリューションはSOTA法を凌駕し、BDDデータセットにおいて9%から17%のミスエラー率の絶対削減を達成することが示される。

要約(オリジナル)

Reliable detection of various objects and road users in the surrounding environment is crucial for the safe operation of automated driving systems (ADS). Despite recent progresses in developing highly accurate object detectors based on Deep Neural Networks (DNNs), they still remain prone to detection errors, which can lead to fatal consequences in safety-critical applications such as ADS. An effective remedy to this problem is to equip the system with run-time monitoring, named as introspection in the context of autonomous systems. Motivated by this, we introduce a novel introspection solution, which operates at the frame level for DNN-based 2D object detection and leverages neural network activation patterns. The proposed approach pre-processes the neural activation patterns of the object detector’s backbone using several different modes. To provide extensive comparative analysis and fair comparison, we also adapt and implement several state-of-the-art (SOTA) introspection mechanisms for error detection in 2D object detection, using one-stage and two-stage object detectors evaluated on KITTI and BDD datasets. We compare the performance of the proposed solution in terms of error detection, adaptability to dataset shift, and, computational and memory resource requirements. Our performance evaluation shows that the proposed introspection solution outperforms SOTA methods, achieving an absolute reduction in the missed error ratio of 9% to 17% in the BDD dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL