A Uniform Language to Explain Decision Trees

要約

正式な XAI コミュニティは、デシジョン ツリーによって行われる分類を理解することを目的として、大量の解釈可能性クエリを研究してきました。
しかし、従来、容易に解釈可能であると考えられてきたこれらのモデルについて、どのような質問に答えることが期待できるのかについて、より統一された理解は依然として得られていません。
解釈可能性を高めるために統一言語を理解するという最初の試みで、Arenas らは、
(2021) は、ブラックボックス ML モデルを説明するためのロジックである FOIL を提案し、それがさまざまな解釈可能性のクエリを表現できることを示しました。
ただし、FOIL は 2 つの重要な意味で制限があることを示します。(i) いくつかの重要なクエリを捕捉するのに十分な表現力がありません。(ii) モデルに依存しない性質により、デシジョン ツリーの計算が非常に複雑になります。
この論文では、決定木の効率的な解釈を可能にする 1 次ロジックの 2 つのフラグメント、Q-DT-FOIL とその最適化バリアント OPT-DT-FOIL を注意深く作成します。
私たちが提案するロジックは、以前の文献で考慮されたさまざまな解釈可能性のクエリを表現できるだけでなく、ユーザーが求められている説明を最適化する必要があるさまざまな目的をエレガントに指定できることを示します。
有限モデル理論手法を使用して、Q-DT-FOIL のさまざまな要素がその表現力に必要であること、さらに Q-DT-FOIL のクエリは SAT ソルバーに対するクエリの多項式で評価できることを示します。
OPT-DT-FOIL の最適化バージョンも同様です。
理論的な結果に加えて、業界規模のデシジョン ツリーで実行される OPT-DT-FOIL の評価の SAT ベースの実装も提供します。

要約(オリジナル)

The formal XAI community has studied a plethora of interpretability queries aiming to understand the classifications made by decision trees. However, a more uniform understanding of what questions we can hope to answer about these models, traditionally deemed to be easily interpretable, has remained elusive. In an initial attempt to understand uniform languages for interpretability, Arenas et al. (2021) proposed FOIL, a logic for explaining black-box ML models, and showed that it can express a variety of interpretability queries. However, we show that FOIL is limited in two important senses: (i) it is not expressive enough to capture some crucial queries, and (ii) its model agnostic nature results in a high computational complexity for decision trees. In this paper, we carefully craft two fragments of first-order logic that allow for efficiently interpreting decision trees: Q-DT-FOIL and its optimization variant OPT-DT-FOIL. We show that our proposed logics can express not only a variety of interpretability queries considered by previous literature, but also elegantly allows users to specify different objectives the sought explanations should optimize for. Using finite model-theoretic techniques, we show that the different ingredients of Q-DT-FOIL are necessary for its expressiveness, and yet that queries in Q-DT-FOIL can be evaluated with a polynomial number of queries to a SAT solver, as well as their optimization versions in OPT-DT-FOIL. Besides our theoretical results, we provide a SAT-based implementation of the evaluation for OPT-DT-FOIL that is performant on industry-size decision trees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google