A Trustworthiness Score to Evaluate DNN Predictions

要約

ディープ ニューラル ネットワーク (DNN) のブラック ボックスの性質により、人間のモニターが存在しない場合、動作中の DNN の継続的な検証は困難です。
その結果、開発者や規制当局が DNN を採用した自律システムの展開に自信を得ることが困難になります。
DNN の予測がいつ信頼できるのか、それとも疑わしいのかを知ることは、運用中の安全にとって重要です。
人間のモニターが存在しない場合、基本的なアプローチは、モデルの出力信頼スコアを使用して、予測が信頼できるか疑わしいかを評価することです。
ただし、モデルの信頼スコアはブラック ボックスからの計算の結果であるため、透明性に欠けており、予測の信頼性を自動的に信用することが困難になります。
信頼性スコア (TS) を導入します。これは、モデルの信頼性スコアと比較して、DNN 予測の信頼性を提供するためのより透明性が高く効果的な方法を提供する単純な指標です。
このメトリクスは、DNN によって行われた予測に特定の特徴が存在するかどうかを確認することで、予測の信頼性を定量化します。
また、TS メトリクスの基本的な考え方を使用して、入力フレーム全体に不審性スコア (SS) を提供し、偽陰性が存在する不審なフレームの検出に役立てます。
人物検出に関して YOLOv5 を使用したケーススタディを実施し、TS と SS の方法と使用法を実証します。
このケーススタディでは、モデル信頼スコアのみに依存する場合と比較して、私たちの方法を使用すると、1) 信頼できる予測の承認 (~20% 向上) と 2) 疑わしいフレームの検出 (~5% 向上) の両方において、予測の精度が一貫して向上することが示されています。

要約(オリジナル)

Due to the black box nature of deep neural networks (DNN), the continuous validation of DNN during operation is challenging with the absence of a human monitor. As a result this makes it difficult for developers and regulators to gain confidence in the deployment of autonomous systems employing DNN. It is critical for safety during operation to know when DNN’s predictions are trustworthy or suspicious. With the absence of a human monitor, the basic approach is to use the model’s output confidence score to assess if predictions are trustworthy or suspicious. However, the model’s confidence score is a result of computations coming from a black box, therefore lacks transparency and makes it challenging to automatedly credit trustworthiness to predictions. We introduce the trustworthiness score (TS), a simple metric that provides a more transparent and effective way of providing confidence in DNN predictions compared to model’s confidence score. The metric quantifies the trustworthiness in a prediction by checking for the existence of certain features in the predictions made by the DNN. We also use the underlying idea of the TS metric, to provide a suspiciousness score (SS) in the overall input frame to help in the detection of suspicious frames where false negatives exist. We conduct a case study using YOLOv5 on persons detection to demonstrate our method and usage of TS and SS. The case study shows that using our method consistently improves the precision of predictions compared to relying on model confidence score alone, for both 1) approving of trustworthy predictions (~20% improvement) and 2) detecting suspicious frames (~5% improvement).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google