Model-agnostic explainable artificial intelligence for object detection in image data

要約

オブジェクト検出はコンピューター ビジョンの基本的なタスクであり、大規模で複雑なディープ ラーニング モデルを開発することで大幅に進歩しました。
ただし、透明性の欠如は大きな課題であり、これらのモデルを広く採用することはできない可能性があります.
説明可能な人工知能は、ユーザーが AI ベースのシステムの動作、決定ロジック、および脆弱性を理解するのに役立つ方法が開発される研究分野です。
ブラックボックスの説明とは、AI システムの内部にアクセスすることなく、AI システムの決定を説明することを指します。
この論文では、AIベースのオブジェクト検出システムに新しいマスキングアプローチを採用することにより、マスキングによるブラックボックスオブジェクト検出説明（BODEM）という名前のブラックボックス説明方法を設計および実装します。
入力画像の複数のバージョンを生成するために、ローカルおよび遠隔マスキングを提案します。
ローカル マスクは、オブジェクト検出器がこれらの変化にどのように反応するかを把握するために、ターゲット オブジェクト内のピクセルを乱すために使用されます。一方、遠方マスクは、オブジェクト外のピクセルを乱すことによって検出モデルの決定がどのように影響を受けるかを評価するために使用されます。
次に、マスキング前後の検出出力の差を測定してピクセルの重要度を推定し、顕著性マップを作成します。
最後に、入力画像内のピクセルが検出されたオブジェクトにとってどれほど重要であるかを視覚化するヒートマップが作成されます。
さまざまなオブジェクト検出データセットとモデルに関する実験により、BODEM を効果的に使用してオブジェクト検出器の動作を説明し、それらの脆弱性を明らかにできることが示されました。
これにより、BODEM は、ブラックボックス ソフトウェア テスト シナリオで AI ベースのオブジェクト検出システムを説明および検証するのに適しています。
さらに、BODEM によって生成されたローカル マスクを使用してオブジェクト検出器をさらにトレーニングし、検出精度と堅牢性を向上できることを示すデータ拡張実験を実施しました。

要約(オリジナル)

Object detection is a fundamental task in computer vision, which has been greatly progressed through developing large and intricate deep learning models. However, the lack of transparency is a big challenge that may not allow the widespread adoption of these models. Explainable artificial intelligence is a field of research where methods are developed to help users understand the behavior, decision logics, and vulnerabilities of AI-based systems. Black-box explanation refers to explaining decisions of an AI system without having access to its internals. In this paper, we design and implement a black-box explanation method named Black-box Object Detection Explanation by Masking (BODEM) through adopting a new masking approach for AI-based object detection systems. We propose local and distant masking to generate multiple versions of an input image. Local masks are used to disturb pixels within a target object to figure out how the object detector reacts to these changes, while distant masks are used to assess how the detection model’s decisions are affected by disturbing pixels outside the object. A saliency map is then created by estimating the importance of pixels through measuring the difference between the detection output before and after masking. Finally, a heatmap is created that visualizes how important pixels within the input image are to the detected objects. The experimentations on various object detection datasets and models showed that BODEM can be effectively used to explain the behavior of object detectors and reveal their vulnerabilities. This makes BODEM suitable for explaining and validating AI based object detection systems in black-box software testing scenarios. Furthermore, we conducted data augmentation experiments that showed local masks produced by BODEM can be used for further training the object detectors and improve their detection accuracy and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google