Pruning Literals for Highly Efficient Explainability at Word Level

要約

最先端の機械学習モデルのほとんどが予測に対して限定的な説明を提供するため、説明可能なモデルを設計することが自然言語処理 (NLP) にとって重要になっています。
説明可能なモデルの範囲では、命題ロジックを使用して単語レベルの説明を提供できる Tsetlin Machine(TM) が有望です。
しかし、条項内のリテラル (命題論理) の複雑な組み合わせにより、透明性のある学習プロセスがあるにもかかわらず、モデルが人間にとって理解しにくくなるという懸念が生じています。
この論文では、文節内にランダムに配置されたリテラルを削除する文節の事後枝刈りを設計し、それによってモデルをバニラ TM よりも効率的に解釈できるようにします。
公開されている YELP-HAT データセットの実験では、提案されたプルーニングされた TM の注意マップの方が、バニラ TM の注意マップよりも人間の注意マップと一致していることが実証されています。
さらに、ペアごとの類似性の尺度もアテンション マップ ベースのニューラル ネットワーク モデルを上回ります。
精度の点では、提案された枝刈り方法は精度を大幅に低下させることはなく、一部のテスト データではパフォーマンスを最大 4% ～ 9% 向上させます。

要約(オリジナル)

Designing an explainable model becomes crucial now for Natural Language Processing(NLP) since most of the state-of-the-art machine learning models provide a limited explanation for the prediction. In the spectrum of an explainable model, Tsetlin Machine(TM) is promising because of its capability of providing word-level explanation using proposition logic. However, concern rises over the elaborated combination of literals (propositional logic) in the clause that makes the model difficult for humans to comprehend, despite having a transparent learning process. In this paper, we design a post-hoc pruning of clauses that eliminate the randomly placed literals in the clause thereby making the model more efficiently interpretable than the vanilla TM. Experiments on the publicly available YELP-HAT Dataset demonstrate that the proposed pruned TM’s attention map aligns more with the human attention map than the vanilla TM’s attention map. In addition, the pairwise similarity measure also surpasses the attention map-based neural network models. In terms of accuracy, the proposed pruning method does not degrade the accuracy significantly but rather enhances the performance up to 4% to 9% in some test data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google