A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order Plausibility Assumption

要約

大規模な言語モデルの説明は、トレーニングに使用されるランダム性に敏感であることが最近示されており、この敏感さを特徴付ける必要性が生じています。
この論文では、そのようなモデルに対して簡単で有益な説明を提供する可能性を疑問視する特性評価を提案します。
この目的のために、説明の信号、ノイズ、信号対ノイズ比の統計的定義を与えます。
単語レベルの一変量の説明が一次統計ツールを使用して分析される典型的なケーススタディでは、単純な特徴ベースのモデルの説明は、変換モデルの説明よりも多くの信号と少ないノイズを運ぶことを強調します。
次に、より複雑な説明と分析方法を捉える信号とノイズの別の定義を使用してこれらの結果を改善する可能性について議論し、読者にとっての妥当性とのトレードオフについても疑問を呈します。

要約(オリジナル)

The explanations of large language models have recently been shown to be sensitive to the randomness used for their training, creating a need to characterize this sensitivity. In this paper, we propose a characterization that questions the possibility to provide simple and informative explanations for such models. To this end, we give statistical definitions for the explanations’ signal, noise and signal-to-noise ratio. We highlight that, in a typical case study where word-level univariate explanations are analyzed with first-order statistical tools, the explanations of simple feature-based models carry more signal and less noise than those of transformer ones. We then discuss the possibility to improve these results with alternative definitions of signal and noise that would capture more complex explanations and analysis methods, while also questioning the tradeoff with their plausibility for readers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google