FunnyBirds: A Synthetic Vision Dataset for a Part-Based Analysis of Explainable AI Methods

要約

説明可能な人工知能 (XAI) の分野は、複雑なディープ ニューラル モデルの内部動作を明らかにすることを目的としています。
XAI は安全性が重要な領域には不可欠ですが、本質的に真実の説明が不足しているため、その自動評価は未解決の問題となっています。
私たちは、FunnyBirds という名前の新しい合成視覚データセットとそれに付随する自動評価プロトコルを提案することで、この課題に対処します。
私たちのデータセットを使用すると、意味的に意味のある画像介入を実行できます。たとえば、個々のオブジェクトの部分を削除することには、3 つの重要な意味があります。
まず、ピクセルレベルで評価する既存の手法よりも人間の理解に近い、部品レベルでの説明の分析が可能になります。
次に、入力のモデル出力と削除された部分を比較することで、説明に反映されるべきグラウンドトゥルース部分の重要性を推定できます。
第三に、個々の説明を部分重要度の共通空間にマッピングすることにより、単一の共通フレームワークでさまざまな異なる説明タイプを分析できます。
当社のツールを使用して、ニューラル モデルと XAI 手法の 24 の異なる組み合わせの結果を報告し、評価された手法の長所と短所を完全に自動かつ系統的に示します。

要約(オリジナル)

The field of explainable artificial intelligence (XAI) aims to uncover the inner workings of complex deep neural models. While being crucial for safety-critical domains, XAI inherently lacks ground-truth explanations, making its automatic evaluation an unsolved problem. We address this challenge by proposing a novel synthetic vision dataset, named FunnyBirds, and accompanying automatic evaluation protocols. Our dataset allows performing semantically meaningful image interventions, e.g., removing individual object parts, which has three important implications. First, it enables analyzing explanations on a part level, which is closer to human comprehension than existing methods that evaluate on a pixel level. Second, by comparing the model output for inputs with removed parts, we can estimate ground-truth part importances that should be reflected in the explanations. Third, by mapping individual explanations into a common space of part importances, we can analyze a variety of different explanation types in a single common framework. Using our tools, we report results for 24 different combinations of neural models and XAI methods, demonstrating the strengths and weaknesses of the assessed methods in a fully automatic and systematic manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google