Beyond Pixels: Enhancing LIME with Hierarchical Features and Segmentation Foundation Models

要約

LIME (Local Interpretable Model-agnostic Explanations)は、視覚機械学習モデルの意思決定プロセスを解明するための一般的なXAIフレームワークである。この技術は、説明として特徴量の重要度スコアを計算するための固定領域を特定するために、画像分割法を利用する。そのため、セグメンテーションが不十分だと、説明が弱くなったり、セグメントの重要度が下がったりし、最終的に解釈の全体的な明瞭さに影響を与える。これらの課題に対処するため、我々はDSEG-LIME（Data-Driven Segmentation LIME）フレームワークを導入する。DSEG-LIMEは、i）基礎モデル統合による、人間が認識した特徴生成のためのデータ駆動型セグメンテーション、ii）合成による、階層的セグメンテーション手順におけるユーザー主導の粒度、を特徴とする。DSEGは、事前に訓練されたImageNetモデルにおいて、いくつかのXAIメトリクスを凌駕し、人間が認識した概念との説明の整合性を向上させることが実証された。コードは以下から入手可能： https://github. com/patrick-knab/DSEG-LIME

要約(オリジナル)

LIME (Local Interpretable Model-agnostic Explanations) is a popular XAI framework for unraveling decision-making processes in vision machine-learning models. The technique utilizes image segmentation methods to identify fixed regions for calculating feature importance scores as explanations. Therefore, poor segmentation can weaken the explanation and reduce the importance of segments, ultimately affecting the overall clarity of interpretation. To address these challenges, we introduce the DSEG-LIME (Data-Driven Segmentation LIME) framework, featuring: i) a data-driven segmentation for human-recognized feature generation by foundation model integration, and ii) a user-steered granularity in the hierarchical segmentation procedure through composition. Our findings demonstrate that DSEG outperforms on several XAI metrics on pre-trained ImageNet models and improves the alignment of explanations with human-recognized concepts. The code is available under: https://github. com/patrick-knab/DSEG-LIME

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL