要約
私たちは、除去ベースのビデオ説明フレームワークである REVEX を開発しました。
この研究では、コンピュータ ビジョン データの詳細な説明フレームワークを拡張し、時間情報と局所的な説明を追加することで 6 つの既存の手法をビデオに適応させます。
適応された方法は、ネットワーク、データセット、画像クラス、評価指標にわたって評価されました。
説明をステップに分解することで、研究した方法の長所と短所、たとえばピクセルのクラスタリングや入力の摂動などが明らかになりました。
Video LIME は他の方法よりも優れたパフォーマンスを示し、方法とネットワークに応じて、削除値が最大 31\% 低く、挿入値が最大 30\% 高くなりました。
Video RISE は、平均ドロップ メトリックにおいて優れたパフォーマンスを達成し、値は 10\% 低くなりました。
対照的に、ローカリゼーション ベースのメトリクスでは、すべての方法でパフォーマンスが低く、ネットワークに応じて大きなばらつきがあることが明らかになりました。
ポインティング ゲームの精度は 53\% に達しましたが、IoU ベースのメトリクスは 20\% 未満のままでした。
XAI 手法全体にわたる調査結果を利用して、採用されている XAI 評価指標の限界をさらに調査し、さまざまなアプリケーションにおけるそれらの適合性を強調します。
要約(オリジナル)
We developed REVEX, a removal-based video explanations framework. This work extends fine-grained explanation frameworks for computer vision data and adapts six existing techniques to video by adding temporal information and local explanations. The adapted methods were evaluated across networks, datasets, image classes, and evaluation metrics. By decomposing explanation into steps, strengths and weaknesses were revealed in the studied methods, for example, on pixel clustering and perturbations in the input. Video LIME outperformed other methods with deletion values up to 31\% lower and insertion up to 30\% higher, depending on method and network. Video RISE achieved superior performance in the average drop metric, with values 10\% lower. In contrast, localization-based metrics revealed low performance across all methods, with significant variation depending on network. Pointing game accuracy reached 53\%, and IoU-based metrics remained below 20\%. Drawing on the findings across XAI methods, we further examine the limitations of the employed XAI evaluation metrics and highlight their suitability in different applications.
arxiv情報
| 著者 | F. Xavier Gaya-Morey,Jose M. Buades-Rubio,I. Scott MacKenzie,Cristina Manresa-Yee |
| 発行日 | 2024-11-12 14:58:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google