Crafting Large Language Models for Enhanced Interpretability

要約

概念ボトルネック大規模言語モデル（Concept Bottleneck Large Language Model: CB-LLM）を紹介する。CB-LLMは、本質的に解釈可能な大規模言語モデル（Large Language Model: LLM）を作成する先駆的なアプローチである。CB-LLMは、限定的なニューロン機能の洞察による後付けの解釈手法に依存する従来のブラックボックスLLMとは異なり、組み込みの解釈可能性、スケーラビリティ、および明確で正確な説明を提供する能力により、新たな基準を設定します。この技術革新は、言語モデルの透明性を向上させるだけでなく、その有効性を高めます。CB-LLMは、従来のLLMが持つ高い精度と、既存のLLMには著しく欠けている明確な解釈可能性という利点を併せ持つモデルとして位置づけられています。

要約(オリジナル)

We introduce the Concept Bottleneck Large Language Model (CB-LLM), a pioneering approach to creating inherently interpretable Large Language Models (LLMs). Unlike traditional black-box LLMs that rely on post-hoc interpretation methods with limited neuron function insights, CB-LLM sets a new standard with its built-in interpretability, scalability, and ability to provide clear, accurate explanations. This innovation not only advances transparency in language models but also enhances their effectiveness. Our unique Automatic Concept Correction (ACC) strategy successfully narrows the performance gap with conventional black-box LLMs, positioning CB-LLM as a model that combines the high accuracy of traditional LLMs with the added benefit of clear interpretability — a feature markedly absent in existing LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL