Hardware faults that matter: Understanding and Estimating the safety impact of hardware faults on object detection DNNs

要約

物体検出ニューラルネットワークモデルは、自動運転やロボット工学のような非常にダイナミックでセーフティクリティカルな環境において、信頼性の高いパフォーマンスを発揮する必要があります。そのため、システム知覚モジュールに影響を与える可能性のあるソフトエラーのような予期せぬハードウェア障害下での検出の頑健性を検証することが最も重要である。平均精度に基づく標準的なメトリクスは、画像レベルではなくオブジェクトレベルでモデルの脆弱性を推定する。この論文で示すように、これは、基礎となるメモリのビット反転によって引き起こされるサイレントデータ破損の安全関連の影響の直感的または代表的な指標を提供せず、典型的な故障誘発の危険性の過大評価または過小評価につながる可能性があります。そこで、安全性に関連するリアルタイムアプリケーションを視野に入れ、誤検出（FP）や誤検出（FN）による画像単位の不正な物体検出に基づく脆弱性を、深刻度分析と組み合わせて定量化する新しい指標IVMOD (Image-wise Vulnerability Metric for Object Detection) を提案する。いくつかの代表的な物体検出モデルを評価した結果、たとえ1つのビット反転でも、安全性に重大な影響を及ぼす可能性のある深刻なサイレントデータ破損事象につながることがわかった。例えば、最大100個のFPが発生したり、1画像で最大約90％の真陽性（TP）が失われたりする。さらに、1 つのスタックアット 1 が発生すると、一連の画像全体が影響を受け、実際の物体と見間違うようなゴースト検出が時 間的に発生します（最大で画像の約 83％をカバー）。さらに、シーン内の実際のオブジェクトを継続的に見逃すこともあります（最大で約64%のTPが失われます）。私たちの研究は、このような重要なワークロードのハードウェア障害に対する安全関連の脆弱性を詳細に理解することを確立しています。

要約(オリジナル)

Object detection neural network models need to perform reliably in highly dynamic and safety-critical environments like automated driving or robotics. Therefore, it is paramount to verify the robustness of the detection under unexpected hardware faults like soft errors that can impact a systems perception module. Standard metrics based on average precision produce model vulnerability estimates at the object level rather than at an image level. As we show in this paper, this does not provide an intuitive or representative indicator of the safety-related impact of silent data corruption caused by bit flips in the underlying memory but can lead to an over- or underestimation of typical fault-induced hazards. With an eye towards safety-related real-time applications, we propose a new metric IVMOD (Image-wise Vulnerability Metric for Object Detection) to quantify vulnerability based on an incorrect image-wise object detection due to false positive (FPs) or false negative (FNs) objects, combined with a severity analysis. The evaluation of several representative object detection models shows that even a single bit flip can lead to a severe silent data corruption event with potentially critical safety implications, with e.g., up to (much greater than) 100 FPs generated, or up to approx. 90% of true positives (TPs) are lost in an image. Furthermore, with a single stuck-at-1 fault, an entire sequence of images can be affected, causing temporally persistent ghost detections that can be mistaken for actual objects (covering up to approx. 83% of the image). Furthermore, actual objects in the scene are continuously missed (up to approx. 64% of TPs are lost). Our work establishes a detailed understanding of the safety-related vulnerability of such critical workloads against hardware faults.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL