LMExplainer: Grounding Knowledge and Explaining Language Models

要約

GPT-4 のような言語モデル (LM) は AI アプリケーションにおいて重要ですが、その不透明な意思決定プロセスにより、特に安全性が重要な領域においてユーザーの信頼が低下します。
LMExplainer は、直感的で人間が理解できる説明を通じて LM の推論プロセスを明確にする、新しい知識に基づいた説明ツールです。
大規模なナレッジ グラフ (KG) を備えたグラフ アテンション ネットワーク (GAT) を活用することで、LMExplainer は推論スペースを正確に狭めて最も関連性の高い知識に焦点を当てるだけでなく、構造化された検証可能な知識に基づいて推論を行うことで幻覚を軽減し、幻覚を軽減します。
解釈可能性。
LMExplainer は、人間が理解できる説明を効果的に生成して、透明性を高め、意思決定プロセスを合理化します。
さらに、説明にデバッグを組み込むことで、開発の観点から LM を改善するための専門知識の提案を提供します。
したがって、LMExplainer は、ユーザーにとって LM をよりアクセスしやすく理解しやすくするための機能強化として機能します。
CommonsenseQA や OpenBookQA などのベンチマーク データセットで LMExplainer を評価し、ほとんどの既存の手法よりも優れたパフォーマンスを発揮することを実証しました。
LMExplainer によって生成された説明を他のモデルの説明と比較することにより、私たちのアプローチが推論プロセスのより包括的かつ明確な説明を提供することを示します。
LMExplainer は、LM の内部動作をより深く理解し、より信頼性が高く、透明性があり、公平な AI に向けて前進します。

要約(オリジナル)

Language models (LMs) like GPT-4 are important in AI applications, but their opaque decision-making process reduces user trust, especially in safety-critical areas. We introduce LMExplainer, a novel knowledge-grounded explainer that clarifies the reasoning process of LMs through intuitive, human-understandable explanations. By leveraging a graph attention network (GAT) with a large-scale knowledge graph (KG), LMExplainer not only precisely narrows the reasoning space to focus on the most relevant knowledge but also grounds its reasoning in structured, verifiable knowledge to reduce hallucinations and enhance interpretability. LMExplainer effectively generates human-understandable explanations to enhance transparency and streamline the decision-making process. Additionally, by incorporating debugging into the explanation, it offers expertise suggestions that improve LMs from a developmental perspective. Thus, LMExplainer stands as an enhancement in making LMs more accessible and understandable to users. We evaluate LMExplainer on benchmark datasets such as CommonsenseQA and OpenBookQA, demonstrating that it outperforms most existing methods. By comparing the explanations generated by LMExplainer with those of other models, we show that our approach offers more comprehensive and clearer explanations of the reasoning process. LMExplainer provides a deeper understanding of the inner workings of LMs, advancing towards more reliable, transparent, and equitable AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google