From Understanding to Utilization: A Survey on Explainability for Large Language Models

要約

この調査報告書は、自然言語処理の重要かつ困難な側面である大規模言語モデル (LLM) の説明可能性の急成長分野を詳しく掘り下げています。
LLM はさまざまなアプリケーションで重要な役割を果たしていますが、その「ブラックボックス」の性質により、透明性と倫理的使用についての懸念が生じています。
このペーパーでは、LLM の説明可能性を強化する必要性を強調し、一般大衆の信頼と、これらのモデルをより深く理解したいという技術コミュニティのニーズの両方に対処します。
私たちは、LLaMA などの事前トレーニング済みの Transformer ベースの LLM に重点を置いていますが、これらの LLM は、その規模と複雑さのために独自の解釈可能性の課題を抱えています。
私たちのレビューでは、既存の説明可能性手法を分類し、モデルの透明性と信頼性の向上におけるそれらの応用について議論します。
また、代表的な評価方法についても説明し、その長所と限界を強調します。
この調査の目的は、理論的な理解と実際の応用の間のギャップを埋め、LLM の説明可能性の分野における将来の研究開発のための洞察を提供することです。

要約(オリジナル)

This survey paper delves into the burgeoning field of explainability for Large Language Models (LLMs), a critical yet challenging aspect of natural language processing. With LLMs playing a pivotal role in various applications, their ‘black-box’ nature raises concerns about transparency and ethical use. This paper emphasizes the necessity for enhanced explainability in LLMs, addressing both the general public’s trust and the technical community’s need for a deeper understanding of these models. We concentrate on pre-trained Transformer-based LLMs, such as LLaMA, which present unique interpretability challenges due to their scale and complexity. Our review categorizes existing explainability methods and discusses their application in improving model transparency and reliability. We also discuss representative evaluation methods, highlighting their strengths and limitations. The goal of this survey is to bridge the gap between theoretical understanding and practical application, offering insights for future research and development in the field of LLM explainability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google