Run-time Monitoring of 3D Object Detection in Automated Driving Systems Using Early Layer Neural Activation Patterns

要約

自動運転システム (ADS) の認識モジュール内での物体検出の完全性を監視してエラーがないかを監視することは、安全性を確保するために最も重要です。
ディープ ニューラル ネットワーク (DNN) ベースの物体検出器は最近進歩していますが、特に 3D 物体検出のあまり研究されていない領域では、検出エラーの影響を受けやすいことが依然として重大な懸念となっています。
2D オブジェクト検出における最先端の整合性モニタリング (イントロスペクションとも呼ばれる) メカニズムは、主に DNN ベースの検出器バックボーンの最終層のアクティブ化パターンを利用します。
ただし、これでは 3D オブジェクト検出におけるデータの複雑さと希薄さに十分に対処できない可能性があります。
この目的を達成するために、この記事では、3D オブジェクト検出器の動作を内省するために、バックボーン ネットワークのさまざまな層から抽出された活性化パターンの影響について広範な調査を実施します。
Kitti と NuScenes のデータセットと PointPillars および CenterPoint 検出器を使用した比較分析を通じて、以前の層のアクティブ化パターンを使用すると、整合性監視システムのエラー検出パフォーマンスが向上するものの、計算の複雑さは増加することを実証しました。
ADS のリアルタイム操作要件に対処するために、検出器のバックボーンの複数の層からの活性化パターンを組み合わせてそのパフォーマンスを報告する新しいイントロスペクション方法も導入しました。

要約(オリジナル)

Monitoring the integrity of object detection for errors within the perception module of automated driving systems (ADS) is paramount for ensuring safety. Despite recent advancements in deep neural network (DNN)-based object detectors, their susceptibility to detection errors, particularly in the less-explored realm of 3D object detection, remains a significant concern. State-of-the-art integrity monitoring (also known as introspection) mechanisms in 2D object detection mainly utilise the activation patterns in the final layer of the DNN-based detector’s backbone. However, that may not sufficiently address the complexities and sparsity of data in 3D object detection. To this end, we conduct, in this article, an extensive investigation into the effects of activation patterns extracted from various layers of the backbone network for introspecting the operation of 3D object detectors. Through a comparative analysis using Kitti and NuScenes datasets with PointPillars and CenterPoint detectors, we demonstrate that using earlier layers’ activation patterns enhances the error detection performance of the integrity monitoring system, yet increases computational complexity. To address the real-time operation requirements in ADS, we also introduce a novel introspection method that combines activation patterns from multiple layers of the detector’s backbone and report its performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google