Unveiling Black-boxes: Explainable Deep Learning Models for Patent Classification

要約

最近の技術の進歩により、さまざまな分野で多数の特許が取得され、人間の専門家が分析および管理することが困難になっています。
マルチラベル特許分類の最先端の方法は、ディープ ニューラル ネットワーク (DNN) に依存しています。DNN は複雑で、意思決定プロセスが不透明であるため、ブラックボックスと見なされることがよくあります。
この論文では、人間が理解できる予測の説明を提供するためにレイヤーワイズ関連性伝播 (LRP) を導入することにより、新しく深く説明可能な特許分類フレームワークを提案します。
Bi-LSTM、CNN、CNN-BiLSTM などの複数の DNN モデルをトレーニングし、予測を出力層からモデルの入力層まで逆方向に伝播して、個々の予測に対する単語の関連性を特定します。
関連性スコアを考慮して、予測された特許クラスに関連する単語を視覚化することで説明を生成します。
200万件の特許テキストからなる2つのデータセットの実験結果は、さまざまな評価尺度に関して高いパフォーマンスを示しています。
各予測に対して生成される説明では、予測されたクラスに一致する重要な関連単語が強調表示され、予測がより理解しやすくなります。
説明可能なシステムは、現実世界の出願における特許分類のための複雑な AI 対応手法の導入を促進する可能性を秘めています。

要約(オリジナル)

Recent technological advancements have led to a large number of patents in a diverse range of domains, making it challenging for human experts to analyze and manage. State-of-the-art methods for multi-label patent classification rely on deep neural networks (DNNs), which are complex and often considered black-boxes due to their opaque decision-making processes. In this paper, we propose a novel deep explainable patent classification framework by introducing layer-wise relevance propagation (LRP) to provide human-understandable explanations for predictions. We train several DNN models, including Bi-LSTM, CNN, and CNN-BiLSTM, and propagate the predictions backward from the output layer up to the input layer of the model to identify the relevance of words for individual predictions. Considering the relevance score, we then generate explanations by visualizing relevant words for the predicted patent class. Experimental results on two datasets comprising two-million patent texts demonstrate high performance in terms of various evaluation measures. The explanations generated for each prediction highlight important relevant words that align with the predicted class, making the prediction more understandable. Explainable systems have the potential to facilitate the adoption of complex AI-enabled methods for patent classification in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google