Beyond Patches: Mining Interpretable Part-Prototypes for Explainable AI

要約

ディープラーニングは、マルチメディアシステムにかなりの進歩をもたらしましたが、深いモデルの解釈可能性は依然として課題です。
GradCamなどの最先端の事後説明方法は、ヒートマップに基づいて視覚的な解釈を提供しますが、概念的な明確さはありません。
プロトプネットやPIPNETなどのプロトタイプベースのアプローチは、より構造化された説明を提供しますが、固定されたパッチに依存して、堅牢性とセマンティックの一貫性を制限します。
これらの制限に対処するために、意味のある地域から解釈可能なプロトタイプを動的に学習することを提案しています。
PCMNETクラスタープロトタイプは概念グループになり、追加の注釈を必要とせずに意味的に根拠のある説明を作成します。
監視されていない部分の発見と概念のアクティベーションベクター抽出の共同プロセスを通じて、PCMNETは差別的概念を効果的にキャプチャし、解釈可能な分類決定を行います。
PCMNETを複数のデータセットで最先端のメソッドと比較する広範な実験は、クリーンで閉塞されたシナリオの下で高レベルの解釈可能性、安定性、堅牢性を提供できることを示しています。

要約(オリジナル)

Deep learning has provided considerable advancements for multimedia systems, yet the interpretability of deep models remains a challenge. State-of-the-art post-hoc explainability methods, such as GradCAM, provide visual interpretation based on heatmaps but lack conceptual clarity. Prototype-based approaches, like ProtoPNet and PIPNet, offer a more structured explanation but rely on fixed patches, limiting their robustness and semantic consistency. To address these limitations, a part-prototypical concept mining network (PCMNet) is proposed that dynamically learns interpretable prototypes from meaningful regions. PCMNet clusters prototypes into concept groups, creating semantically grounded explanations without requiring additional annotations. Through a joint process of unsupervised part discovery and concept activation vector extraction, PCMNet effectively captures discriminative concepts and makes interpretable classification decisions. Our extensive experiments comparing PCMNet against state-of-the-art methods on multiple datasets show that it can provide a high level of interpretability, stability, and robustness under clean and occluded scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google