Representations as Language: An Information-Theoretic Framework for Interpretability

要約

大規模なニューラル モデルは、幅広い言語タスクにわたって優れたパフォーマンスを示します。
それにもかかわらず、それらは大部分がブラックボックスのままであり、解釈が難しい入力のベクトル表現を引き起こします。
これにより、学習者が何をいつ学習するかを理解する能力や、どのような種類の表現が分布外で一般化するのかを説明する能力が制限されます。
これに対処するために、モデルが文からそれ自体の一種の言語として学習する表現へのマッピングに注目する、解釈可能性への新しいアプローチを導入します。
その際、モデルの表現が入力に対してどのように構造化されているか、またトレーニング中にその構造がいつ生じるかを定量化する一連の情報理論的尺度を導入します。
私たちの尺度は計算が速く、言語理論に基づいており、表現に基づいてどのモデルが最適に一般化されるかを予測できます。
これらの尺度を使用して、トランスフォーマーのトレーニングの 2 つの異なるフェーズを説明します。1 つはタスク損失を軽減する分布内学習の初期フェーズで、次に、表現がノイズに対して堅牢になる第 2 ステージです。
この第 2 フェーズでは汎化パフォーマンスが向上し始め、汎化とノイズに対する堅牢性の間に関係が生じます。
最後に、モデルのサイズが表現空間の構造にどのような影響を与えるかを調べ、大きなモデルは最終的に小さなモデルよりも表現を圧縮することを示します。

要約(オリジナル)

Large scale neural models show impressive performance across a wide array of linguistic tasks. Despite this they remain, largely, black-boxes – inducing vector-representations of their input that prove difficult to interpret. This limits our ability to understand what they learn, and when the learn it, or describe what kinds of representations generalise well out of distribution. To address this we introduce a novel approach to interpretability that looks at the mapping a model learns from sentences to representations as a kind of language in its own right. In doing so we introduce a set of information-theoretic measures that quantify how structured a model’s representations are with respect to its input, and when during training that structure arises. Our measures are fast to compute, grounded in linguistic theory, and can predict which models will generalise best based on their representations. We use these measures to describe two distinct phases of training a transformer: an initial phase of in-distribution learning which reduces task loss, then a second stage where representations becoming robust to noise. Generalisation performance begins to increase during this second phase, drawing a link between generalisation and robustness to noise. Finally we look at how model size affects the structure of the representational space, showing that larger models ultimately compress their representations more than their smaller counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google