Dividing and Conquering a BlackBox to a Mixture of Interpretable Models: Route, Interpret, Repeat

要約

ML モデルの設計は、解釈可能なモデルまたはブラックボックスから始まり、それを事後的に説明します。
ブラックボックス モデルは柔軟ですが説明が困難ですが、解釈可能なモデルは本質的に説明可能です。
ただし、解釈可能なモデルには広範な ML の知識が必要であり、Blackbox バリアントに比べて柔軟性が低く、パフォーマンスが劣る傾向があります。
この論文は、ブラックボックスの事後説明と解釈可能なモデルの構築との区別を曖昧にすることを目的としています。
ブラックボックスから始めて、解釈可能な専門家 (MoIE) と残余ネットワークの混合物を繰り返し切り出します。
解釈可能な各モデルはサンプルのサブセットに特化しており、一次ロジック (FOL) を使用してそれらを説明し、ブラックボックスの概念に関する基本的な推論を提供します。
残りのサンプルは柔軟な残差を介してルーティングされます。
すべての解釈可能なモデルがデータの望ましい割合を説明するまで、残差ネットワーク上でこの方法を繰り返します。
私たちの広範な実験により、ルート、解釈、反復のアプローチが、(1) パフォーマンスに妥協することなく、MoIE を介して高い概念完全性を備えた多様なインスタンス固有の概念セットを特定し、(2) 説明するのが比較的「難しい」サンプルを特定できることがわかりました。
残差を介して、(3) テスト時の介入中に、解釈可能な設計上のモデルよりも大幅にパフォーマンスが向上し、(4) 元のブラックボックスによって学習されたショートカットが修正されます。
MoIE のコードは、\url{https://github.com/batmanlab/ICML-2023-Route-interpret-repeat} で公開されています。

要約(オリジナル)

ML model design either starts with an interpretable model or a Blackbox and explains it post hoc. Blackbox models are flexible but difficult to explain, while interpretable models are inherently explainable. Yet, interpretable models require extensive ML knowledge and tend to be less flexible and underperforming than their Blackbox variants. This paper aims to blur the distinction between a post hoc explanation of a Blackbox and constructing interpretable models. Beginning with a Blackbox, we iteratively carve out a mixture of interpretable experts (MoIE) and a residual network. Each interpretable model specializes in a subset of samples and explains them using First Order Logic (FOL), providing basic reasoning on concepts from the Blackbox. We route the remaining samples through a flexible residual. We repeat the method on the residual network until all the interpretable models explain the desired proportion of data. Our extensive experiments show that our route, interpret, and repeat approach (1) identifies a diverse set of instance-specific concepts with high concept completeness via MoIE without compromising in performance, (2) identifies the relatively “harder” samples to explain via residuals, (3) outperforms the interpretable by-design models by significant margins during test-time interventions, and (4) fixes the shortcut learned by the original Blackbox. The code for MoIE is publicly available at: \url{https://github.com/batmanlab/ICML-2023-Route-interpret-repeat}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google