ProtoryNet – Interpretable Text Classification Via Prototype Trajectories

要約

私たちは、プロトタイプ軌跡の新しい概念に基づいて、ProtoryNet と呼ばれる、テキスト分類のための新しい解釈可能なディープ ニューラル ネットワークを提案します。
現代言語学のプロトタイプ理論に基づいて、ProtoryNet は、テキスト シーケンス内の各文に最も類似したプロトタイプを見つけ、対応するアクティブなプロトタイプへの各文の近接情報を RNN バックボーンに供給することで予測を行います。
次に、RNN バックボーンはプロトタイプの時間的パターンをキャプチャします。これをプロトタイプの軌跡と呼びます。
プロトタイプの軌跡により、人間がテキストを分析する方法と同様に、RNN モデルの推論プロセスを直観的かつ詳細に解釈できます。
また、解釈性を高めるために、モデルで使用されるプロトタイプの総数を減らすプロトタイプの枝刈り手順も設計します。
複数の公開データセットでの実験では、ProtoryNet がベースラインのプロトタイプベースのディープ ニューラル ネットワークよりも正確であり、最先端のブラック ボックス モデルと比較してパフォーマンスのギャップが縮小していることが示されています。
さらに、プロトタイプの枝刈り後、結果として得られる ProtoryNet モデルでは、すべてのデータセットに対して 20 個以下または約 20 個程度のプロトタイプのみが必要となり、解釈可能性が大幅に向上します。
さらに、人間のユーザーは ProtoryNet が他のプロトタイプベースの方法よりも直感的で理解しやすいと感じていることを示す調査結果を報告します。

要約(オリジナル)

We propose a novel interpretable deep neural network for text classification, called ProtoryNet, based on a new concept of prototype trajectories. Motivated by the prototype theory in modern linguistics, ProtoryNet makes a prediction by finding the most similar prototype for each sentence in a text sequence and feeding an RNN backbone with the proximity of each sentence to the corresponding active prototype. The RNN backbone then captures the temporal pattern of the prototypes, which we refer to as prototype trajectories. Prototype trajectories enable intuitive and fine-grained interpretation of the reasoning process of the RNN model, in resemblance to how humans analyze texts. We also design a prototype pruning procedure to reduce the total number of prototypes used by the model for better interpretability. Experiments on multiple public data sets show that ProtoryNet is more accurate than the baseline prototype-based deep neural net and reduces the performance gap compared to state-of-the-art black-box models. In addition, after prototype pruning, the resulting ProtoryNet models only need less than or around 20 prototypes for all datasets, which significantly benefits interpretability. Furthermore, we report a survey result indicating that human users find ProtoryNet more intuitive and easier to understand than other prototype-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google