Supporting Safety Analysis of Image-processing DNNs through Clustering-based Approaches

要約

セーフティ クリティカルな状況でのディープ ニューラル ネットワーク (DNN) の導入は、特に結果が間違っている場合、その結果を説明する効果的な手段がないために妨げられることがよくあります。
以前の研究では、DNN の障害を自動的に特徴付けるためのホワイトボックス アプローチ (HUDD) とブラックボックス アプローチ (SAFE) を提案しました。
どちらも、DNN の失敗につながる可能性のある大規模な画像セットから、類似した画像のクラスターを識別します。
ただし、HUDD と SAFE の分析パイプラインは一般的な慣行に従って特定の方法でインスタンス化され、他のパイプラインの分析は将来の作業に延期されました。
このペーパーでは、DNN 障害の根本原因分析のための 99 の異なるパイプラインの実証的評価について報告します。
これらは、転移学習、オートエンコーダー、ニューロン関連性のヒートマップ、次元削減技術、およびさまざまなクラスタリング アルゴリズムを組み合わせています。
私たちの結果は、転移学習、DBSCAN、UMAP を組み合わせた最適なパイプラインであることを示しています。
これにより、クラスターがほぼ独占的に同じ障害シナリオの画像をキャプチャすることになり、根本原因の分析が容易になります。
さらに、障害の根本原因ごとに個別のクラスターが生成されるため、エンジニアはすべての危険なシナリオを検出できます。
興味深いことに、これらの結果は、失敗したイメージのごく一部でのみ観察される失敗シナリオにも当てはまります。

要約(オリジナル)

The adoption of deep neural networks (DNNs) in safety-critical contexts is often prevented by the lack of effective means to explain their results, especially when they are erroneous. In our previous work, we proposed a white-box approach (HUDD) and a black-box approach (SAFE) to automatically characterize DNN failures. They both identify clusters of similar images from a potentially large set of images leading to DNN failures. However, the analysis pipelines for HUDD and SAFE were instantiated in specific ways according to common practices, deferring the analysis of other pipelines to future work. In this paper, we report on an empirical evaluation of 99 different pipelines for root cause analysis of DNN failures. They combine transfer learning, autoencoders, heatmaps of neuron relevance, dimensionality reduction techniques, and different clustering algorithms. Our results show that the best pipeline combines transfer learning, DBSCAN, and UMAP. It leads to clusters almost exclusively capturing images of the same failure scenario, thus facilitating root cause analysis. Further, it generates distinct clusters for each root cause of failure, thus enabling engineers to detect all the unsafe scenarios. Interestingly, these results hold even for failure scenarios that are only observed in a small percentage of the failing images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google