LMExplainer: a Knowledge-Enhanced Explainer for Language Models

要約

GPT-4 などの大規模な言語モデル (LM) は非常に強力で、さまざまな種類の自然言語処理 (NLP) タスクを処理できます。
ただし、多層非線形モデル構造と数百万のパラメーターが原因で、結果を解釈するのが難しい場合があります。
モデルがどのように機能するかを理解していないと、モデルの信頼性が低くなり、現実世界のシナリオで日常的に使用するユーザーにとって危険になる可能性があります。
最近の研究では、注意の重みを利用して、モデル予測の説明を提供しています。
ただし、純粋な注意ベースの説明では、モデルの複雑化をサポートできず、意思決定プロセスについて推論することもできません。
したがって、人間が理解できる説明を提供できる言語モデルの知識強化型解釈モジュールである LMExplainer を提案します。
ナレッジ グラフ (KG) とグラフ アテンション ニューラル ネットワークを使用して、LM の重要な決定信号を抽出します。
さらに、解釈が AI がタスクをよりよく理解するのにも役立つかどうかを調べます。
私たちの実験結果は、LMExplainer が CommonsenseQA と OpenBookQA で既存の LM+KG メソッドより優れていることを示しています。
また、説明結果を、生成された説明方法および人間が注釈を付けた結果と比較します。
この比較は、私たちの方法がより包括的で明確な説明を提供できることを示しています。
LMExplainer は、モデルのパフォーマンスを向上させ、自然言語によるモデルの推論プロセスの説明を提供する可能性を示しています。

要約(オリジナル)

Large language models (LMs) such as GPT-4 are very powerful and can process different kinds of natural language processing (NLP) tasks. However, it can be difficult to interpret the results due to the multi-layer nonlinear model structure and millions of parameters. Lack of understanding of how the model works can make the model unreliable and dangerous for everyday users in real-world scenarios. Most recent works exploit the weights of attention to provide explanations for model predictions. However, pure attention-based explanation is unable to support the growing complexity of the models, and cannot reason about their decision-making processes. Thus, we propose LMExplainer, a knowledge-enhanced interpretation module for language models that can provide human-understandable explanations. We use a knowledge graph (KG) and a graph attention neural network to extract the key decision signals of the LM. We further explore whether interpretation can also help AI understand the task better. Our experimental results show that LMExplainer outperforms existing LM+KG methods on CommonsenseQA and OpenBookQA. We also compare the explanation results with generated explanation methods and human-annotated results. The comparison shows our method can provide more comprehensive and clearer explanations. LMExplainer demonstrates the potential to enhance model performance and furnish explanations for the reasoning processes of models in natural language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google