The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations

要約

説明可能な人工知能 (XAI) は、深層学習システムに対する人間の理解と信頼を可能にする上で重要な役割を果たします。
モデルが大きくなり、より遍在し、日常生活のさまざまな側面に浸透するにつれて、モデルの間違いによる悪影響を最小限に抑えるために説明可能性が必要になります。
残念ながら、人間中心の XAI における現在のアプローチ (医療、教育、パーソナライズされた広告など) は、単一の事後説明者に依存する傾向がありますが、最近の研究では、同じ事後説明者に適用した場合、事後説明者間で体系的な不一致が確認されています。
基礎となるブラックボックス モデルのインスタンス。
したがって、この文書では、現在の最先端の説明者の限界に対処するための行動の呼びかけを提示します。
私たちは、事後の説明可能性から、解釈可能なニューラル ネットワーク アーキテクチャの設計への移行を提案します。
私たちは人間中心の XAI の 5 つのニーズ (リアルタイム、正確、実用的、人間が解釈可能、一貫性) を特定し、設計によって解釈可能なニューラル ネットワーク ワークフローのための 2 つのスキーム (InterpretCC による適応ルーティングと I2MD による時間診断) を提案します。
私たちは、人間中心の XAI の未来は、ブラックボックスを説明することでもなく、従来の解釈可能なモデルに戻ることでもなく、本質的に解釈可能なニューラル ネットワークにあると仮定します。

要約(オリジナル)

Explainable Artificial Intelligence (XAI) plays a crucial role in enabling human understanding and trust in deep learning systems. As models get larger, more ubiquitous, and pervasive in aspects of daily life, explainability is necessary to minimize adverse effects of model mistakes. Unfortunately, current approaches in human-centric XAI (e.g. predictive tasks in healthcare, education, or personalized ads) tend to rely on a single post-hoc explainer, whereas recent work has identified systematic disagreement between post-hoc explainers when applied to the same instances of underlying black-box models. In this paper, we therefore present a call for action to address the limitations of current state-of-the-art explainers. We propose a shift from post-hoc explainability to designing interpretable neural network architectures. We identify five needs of human-centric XAI (real-time, accurate, actionable, human-interpretable, and consistent) and propose two schemes for interpretable-by-design neural network workflows (adaptive routing with InterpretCC and temporal diagnostics with I2MD). We postulate that the future of human-centric XAI is neither in explaining black-boxes nor in reverting to traditional, interpretable models, but in neural networks that are intrinsically interpretable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google