Explainable embeddings with Distance Explainer

要約

説明可能なAI（XAI）は大幅に進歩していますが、寸法が複雑な抽象化を表す埋め込みベクトル空間の解釈可能性に対処する方法はほとんどありません。
機械学習モデルに埋め込まれたスペースのローカルで事後の説明を生成するための新しい方法である距離説明者を紹介します。
私たちのアプローチは、選択的マスキングと距離ランクマスクフィルタリングを介して属性値を割り当てることにより、2つの埋め込みデータポイント間の距離を説明するために、顕著性ベースの技術をRiseから適応させます。
忠実さ、感度/堅牢性、ランダム化を含む確立されたXAIメトリックを使用して、クロスモーダル埋め込み（画像イメージと画像キャプションペア）の距離説明者を評価します。
ImagenetおよびClipモデルを使用した実験は、我々の方法が効果的に識別され、高い堅牢性と一貫性を維持しながら、埋め込まれたデータポイント間の類似性または類似性に寄与する機能を効果的に識別することを示しています。
また、パラメーターのチューニング、特にマスクの量と選択戦略が説明の品質にどのように影響するかについても探ります。
この作業は、Xaiの研究における重大なギャップに対処し、埋め込まれたスペースを利用した深い学習アプリケーションの透明性と信頼性を高めます。

要約(オリジナル)

While eXplainable AI (XAI) has advanced significantly, few methods address interpretability in embedded vector spaces where dimensions represent complex abstractions. We introduce Distance Explainer, a novel method for generating local, post-hoc explanations of embedded spaces in machine learning models. Our approach adapts saliency-based techniques from RISE to explain the distance between two embedded data points by assigning attribution values through selective masking and distance-ranked mask filtering. We evaluate Distance Explainer on cross-modal embeddings (image-image and image-caption pairs) using established XAI metrics including Faithfulness, Sensitivity/Robustness, and Randomization. Experiments with ImageNet and CLIP models demonstrate that our method effectively identifies features contributing to similarity or dissimilarity between embedded data points while maintaining high robustness and consistency. We also explore how parameter tuning, particularly mask quantity and selection strategy, affects explanation quality. This work addresses a critical gap in XAI research and enhances transparency and trustworthiness in deep learning applications utilizing embedded spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google