Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling

要約

現在の自然言語処理手法の基礎として、事前トレーニングされた言語モデルは優れたパフォーマンスを達成しています。
ただし、事前トレーニングされた言語モデルのディープ ニューラル ネットワークのブラック ボックス構造により、言語モデリング プロセスの解釈可能性が大幅に制限されます。
言語モデリングの深いニューラル表現とセマンティクスロジックの結合要件を再検討した後、解釈不可能なニューラル表現と解釈可能な統計ロジックの間の位置合わせ処理を導入することにより、Word-Context-Coupled Space (W2CSpace) が提案されます。
さらに、クラスタリング プロセスも、単語レベルとコンテキスト レベルのセマンティクスを結び付けるように設計されています。
具体的には、解釈可能な統計ロジックと考えられる連想知識ネットワーク (AKN) が、単語レベルのセマンティクスの調整プロセスに導入されます。
さらに、コンテキスト相対距離は、下流の分類器の意味論的特徴として使用されますが、これは、事前トレーニング済みモデルの現在の解釈不可能な意味論的表現とは大きく異なります。
パフォーマンス評価と解釈可能な分析のための実験は、SIGHAN、Weibo、ChnSenti などの数種類のデータセットに対して実行されます。
そこでは、機械学習モデルの解釈可能性のための新しい評価戦略が最初に提案されます。
実験結果によると、私たちの言語モデルは、関連する最先端の方法と比較して、より優れたパフォーマンスと信頼性の高い解釈能力を達成できます。

要約(オリジナル)

As the foundation of current natural language processing methods, pre-trained language model has achieved excellent performance. However, the black-box structure of the deep neural network in pre-trained language models seriously limits the interpretability of the language modeling process. After revisiting the coupled requirement of deep neural representation and semantics logic of language modeling, a Word-Context-Coupled Space (W2CSpace) is proposed by introducing the alignment processing between uninterpretable neural representation and interpretable statistical logic. Moreover, a clustering process is also designed to connect the word- and context-level semantics. Specifically, an associative knowledge network (AKN), considered interpretable statistical logic, is introduced in the alignment process for word-level semantics. Furthermore, the context-relative distance is employed as the semantic feature for the downstream classifier, which is greatly different from the current uninterpretable semantic representations of pre-trained models. Our experiments for performance evaluation and interpretable analysis are executed on several types of datasets, including SIGHAN, Weibo, and ChnSenti. Wherein a novel evaluation strategy for the interpretability of machine learning models is first proposed. According to the experimental results, our language model can achieve better performance and highly credible interpretable ability compared to related state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google