Dividing and Conquering a BlackBox to a Mixture of Interpretable Models: Route, Interpret, Repeat

要約

タイトル：黒箱を解析可能なモデルの混合物に分割して征服する：ルート、解釈、反復

要約：
– MLモデル設計は、解析可能なモデルから始まることも、黒箱から始まり後付けで説明することもあります。
– 黒箱モデルは柔軟ですが、説明が困難です。対照的に、解析可能なモデルは本質的に説明可能ですが、広範なML知識が必要であるため、柔軟で性能が低い場合があります。
– この論文は、黒箱モデルの後付け説明と解析可能なモデルの構築の区別を曖昧にすることを目的としています。
– 黒箱から始め、解析可能な専門家（MoIE）の混合物と残差ネットワークをイテレーションによって刻み出します。各解析可能なモデルは、一階述語論理（FOL）を使用して一部のサンプルに特化し、それらをBlackboxからの概念について基本的な推論を提供します。残りのサンプルは柔軟な残差を介して経路設定されます。残差ネットワーク上で同じ方法を繰り返し、解析可能なモデルが希望する割合のデータを説明するまで繰り返します。
– 本研究の詳細な実験は、本研究のルート、解釈、反復法が（1）MoIEを介して高いカテゴリー完全性を持つ多様なインスタンス特異的概念を識別することができることを示し、性能を損なわずに、（2）残差を介して説明の困難なサンプルを識別し、（3）テスト時間の介入時にデザインされた解析可能なモデルを大幅に上回る性能を発揮し、（4）元の黒箱で学習されたショートカットを修正します。
– MoIEのコードは、https://github.com/batmanlab/ICML-2023-Route-interpret-repeatで公開されています。

要約(オリジナル)

ML model design either starts with an interpretable model or a Blackbox and explains it post hoc. Blackbox models are flexible but difficult to explain, while interpretable models are inherently explainable. Yet, interpretable models require extensive ML knowledge and tend to be less flexible and underperforming than their Blackbox variants. This paper aims to blur the distinction between a post hoc explanation of a Blackbox and constructing interpretable models. Beginning with a Blackbox, we iteratively carve out a mixture of interpretable experts (MoIE) and a residual network. Each interpretable model specializes in a subset of samples and explains them using First Order Logic (FOL), providing basic reasoning on concepts from the Blackbox. We route the remaining samples through a flexible residual. We repeat the method on the residual network until all the interpretable models explain the desired proportion of data. Our extensive experiments show that our route, interpret, and repeat approach (1) identifies a diverse set of instance-specific concepts with high concept completeness via MoIE without compromising in performance, (2) identifies the relatively “harder” samples to explain via residuals, (3) outperforms the interpretable by-design models by significant margins during test-time interventions, and (4) fixes the shortcut learned by the original Blackbox. The code for MoIE is publicly available at: https://github.com/batmanlab/ICML-2023-Route-interpret-repeat.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI