CGXplain: Rule-Based Deep Neural Network Explanations Using Dual Linear Programs

要約

タイトル：CGXplain：デュアル線形計画法を用いたルールベースの深層ニューラルネットワークの説明

要約：

– ルールベースのサロゲートモデルは、Deep Neural Network（DNN）の意思決定の境界を近似するための有効で解釈可能な方法であり、人間が深層学習モデルを容易に理解できます。
– 現在の最先端の分解方法は、DNNの潜在的な空間を考慮してより正確なルールセットを抽出するものであり、高精度のルールセットを導出できます。
– しかし、これらの方法には、a）サロゲートモデルがDNNと同じ変数から学習したことを保証できない（アラインメント）、b）正確度などの単一の目的に最適化することしかできないため、過度に大きなルールセット（複雑性）につながることがあり、c）中間モデルとして意思決定ツリーアルゴリズムを使用するため、同じDNNに対して異なる説明が生成される可能性があります。
– 本稿では、これらの制限に対処するためにCGX（Column Generation eXplainer）を導入しています。CGXは、DNNの隠れた表現からルールを抽出するためのデコンポズション法であり、デュアル線形計画法を使用しています。
– このアプローチにより、任意の数の目的に最適化できるだけでなく、ユーザーが説明モデルを自分たちのニーズに合わせて微調整できます。
– 私たちは、様々なタスクでの結果を評価し、CGXは、説明モデルの正確な再現性を持ち、安定性を保証し、ルールセットサイズを>80％（複雑性）削減し、同等または改善された精度と忠実度でタスク全体で整合性があることを示しています。

要約(オリジナル)

Rule-based surrogate models are an effective and interpretable way to approximate a Deep Neural Network’s (DNN) decision boundaries, allowing humans to easily understand deep learning models. Current state-of-the-art decompositional methods, which are those that consider the DNN’s latent space to extract more exact rule sets, manage to derive rule sets at high accuracy. However, they a) do not guarantee that the surrogate model has learned from the same variables as the DNN (alignment), b) only allow to optimise for a single objective, such as accuracy, which can result in excessively large rule sets (complexity), and c) use decision tree algorithms as intermediate models, which can result in different explanations for the same DNN (stability). This paper introduces the CGX (Column Generation eXplainer) to address these limitations – a decompositional method using dual linear programming to extract rules from the hidden representations of the DNN. This approach allows to optimise for any number of objectives and empowers users to tweak the explanation model to their needs. We evaluate our results on a wide variety of tasks and show that CGX meets all three criteria, by having exact reproducibility of the explanation model that guarantees stability and reduces the rule set size by >80% (complexity) at equivalent or improved accuracy and fidelity across tasks (alignment).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI