Discovering Latent Knowledge in Language Models Without Supervision

要約

模倣学習でモデルを訓練すると、人間が犯すエラーを再現する可能性があり、人間が高く評価するテキストを生成するように訓練すると、人間の評価者が検出できないエラーを出力する可能性がある。我々は、この問題を回避するために、純粋に教師なしな方法で、言語モデルの内部活性の中にある潜在的な知識を直接見つけることを提案する。具体的には、ラベル付けされていないモデルの活性化のみが与えられた場合に、イエス・ノーの質問に正確に答える方法を紹介する。この方法は、ある文とその否定が反対の真理値を持つというような論理的一貫性の特性を満たす活性化空間の方向を見つけることによって機能する。6つのモデルと10の質問応答データセットにおいて、ゼロショット精度を平均4%上回る。また、プロンプトの感度を半分に削減し、モデルが不正解を生成するようプロンプトされた場合でも、高い精度を維持し続けることがわかった。我々の結果は、明示的なグランドトゥルースラベルにアクセスできない場合でも、言語モデルが何を言っているかとは別に、何を知っているかを発見するための最初のステップを提供する。

要約(オリジナル)

Existing techniques for training language models can be misaligned with the truth: if we train models with imitation learning, they may reproduce errors that humans make; if we train them to generate text that humans rate highly, they may output errors that human evaluators can’t detect. We propose circumventing this issue by directly finding latent knowledge inside the internal activations of a language model in a purely unsupervised way. Specifically, we introduce a method for accurately answering yes-no questions given only unlabeled model activations. It works by finding a direction in activation space that satisfies logical consistency properties, such as that a statement and its negation have opposite truth values. We show that despite using no supervision and no model outputs, our method can recover diverse knowledge represented in large language models: across 6 models and 10 question-answering datasets, it outperforms zero-shot accuracy by 4\% on average. We also find that it cuts prompt sensitivity in half and continues to maintain high accuracy even when models are prompted to generate incorrect answers. Our results provide an initial step toward discovering what language models know, distinct from what they say, even when we don’t have access to explicit ground truth labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL