LMExplainer: a Knowledge-Enhanced Explainer for Language Models

要約

GPT-4のような大規模言語モデル（LLM）は非常に強力で、さまざまな種類の自然言語処理（NLP）タスクを処理できる。しかし、多層非線形モデル構造と数百万のパラメータにより、結果の解釈が難しい場合がある。言語モデル(LM)がどのように機能するのかが明確でなく、理解されていないため、信頼性が低く、信頼することが難しく、実世界のシナリオで使用するには潜在的に危険である。最近の研究の多くは、LMの予測に対する説明を提供するために、注意の重みを利用している。しかし、純粋な注意に基づく説明では、複雑化するLMをサポートすることができず、LMの意思決定プロセスを推論することができない。我々はLMExplainerを提案する。LMExplainerは知識を強化した説明器であり、人間が理解できる説明を提供できる。知識グラフ（KG）とグラフアテンションニューラルネットワークを用いて、LMの重要な意思決定シグナルを抽出する。さらに、解釈を行うことで、AIがタスクをより理解できるようになるかどうかを検討する。実験の結果、CommonsenseQAとOpenBookQAにおいて、LMExplainerが既存のLM+KG法を凌駕することがわかった。説明結果を、生成された説明手法や人間が注釈を付けた結果と比較した。比較の結果、我々の手法がより包括的で明確な説明を提供できることが分かった。LMExplainerは、モデルの性能を向上させ、自然言語によるLM推論プロセスの説明を提供する可能性を示している。

要約(オリジナル)

Large language models (LLMs) such as GPT-4 are very powerful and can process different kinds of natural language processing (NLP) tasks. However, it can be difficult to interpret the results due to the multi-layer nonlinear model structure and millions of parameters. A lack of clarity and understanding of how the language models (LMs) work can make them unreliable, difficult to trust, and potentially dangerous for use in real-world scenarios. Most recent works exploit attention weights to provide explanations for LM predictions. However, pure attention-based explanations are unable to support the growing complexity of LMs, and cannot reason about their decision-making processes. We propose LMExplainer, a knowledge-enhanced explainer for LMs that can provide human-understandable explanations. We use a knowledge graph (KG) and a graph attention neural network to extract the key decision signals of the LM. We further explore whether interpretation can also help the AI understand the task better. Our experimental results show that LMExplainer outperforms existing LM+KG methods on CommonsenseQA and OpenBookQA. We compare the explanation results with generated explanation methods and human-annotated results. The comparison shows our method can provide more comprehensive and clearer explanations. LMExplainer demonstrates the potential to enhance model performance and furnish explanations for the LM reasoning process in natural language.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL