Measuring the Impact of Scene Level Objects on Object Detection: Towards Quantitative Explanations of Detection Decisions

要約

精度やその他の一般的なメトリクスは、物体検出モデルのパフォーマンスを知るための有用な窓を提供しますが、モデルの意思決定プロセスをより深く理解することはできません。
トレーニング データとプロセスの品質に関係なく、物体検出モデルが学習する機能は保証できません。
モデルは、特定の背景コンテキスト、つまりシーン レベルのオブジェクトとラベル付けされたクラスの存在の間の関係を学習できます。
さらに、標準的なパフォーマンス検証と測定基準では、この現象を特定できません。
この論文では、画像内のオブジェクトの識別に対するシーンレベルのオブジェクトの影響を見つけることにより、オブジェクト検出モデルを追加検証するための新しいブラックボックス説明可能性手法を紹介します。
特定のシーン レベル オブジェクトを使用した場合と使用しない場合のテスト データ上のモデルの精度を比較すると、モデルのパフォーマンスに対するこれらのオブジェクトの寄与がより明確になります。
ここで紹介する実験では、微調整された YOLOv8 モデルによる緊急道路車両の検出に対する、画像コンテキスト内の建物と人物の影響を評価します。
シーン レベルのオブジェクトが存在する場合の精度の大幅な向上は、モデルがそのオブジェクトに依存して検出を行っていることを示します。
この研究の結果は、物体検出モデルの決定プロセスを定量的に説明することにつながり、モデルの性能をより深く理解できるようになります。

要約(オリジナル)

Although accuracy and other common metrics can provide a useful window into the performance of an object detection model, they lack a deeper view of the model’s decision process. Regardless of the quality of the training data and process, the features that an object detection model learns cannot be guaranteed. A model may learn a relationship between certain background context, i.e., scene level objects, and the presence of the labeled classes. Furthermore, standard performance verification and metrics would not identify this phenomenon. This paper presents a new black box explainability method for additional verification of object detection models by finding the impact of scene level objects on the identification of the objects within the image. By comparing the accuracies of a model on test data with and without certain scene level objects, the contributions of these objects to the model’s performance becomes clearer. The experiment presented here will assess the impact of buildings and people in image context on the detection of emergency road vehicles by a fine-tuned YOLOv8 model. A large increase in accuracy in the presence of a scene level object will indicate the model’s reliance on that object to make its detections. The results of this research lead to providing a quantitative explanation of the object detection model’s decision process, enabling a deeper understanding of the model’s performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google