Predict the Next Word:

要約

言語モデル (LM) は、人間が生成したテキストに確率を割り当てるようにトレーニングされた統計モデルです。
したがって、人間が示す言語の多様性をうまく近似しているかどうか疑問を持つのは当然です。
この形式の統計的評価は、合格レベルでの実行が困難です。これは、許容性の判断 (つまり、人間による評価) または堅牢な自動プロキシ (これは簡単ではありません) が必要となるためです。
ただし、単語レベルでは、何らかのコンテキストが与えられると、LM からのサンプルは、利用可能なコンテキストの代替単一単語継続の事前に記録されたデータセットとの正確な一致によって評価できます。
我々はこの事実を利用し、人間 (特に英語話者の集団) が「次の単語の予測」タスクで示す変動性を再現する LM の能力を評価します。
これは、テキスト分類の文脈において、キャリブレーションの形式を評価するものとみなすことができます。
(2022) 人間の不確実性に対する校正と呼ばれています。
GPT2、BLOOM、ChatGPT を評価したところ、人間の不確実性に対する補正がかなり低いことがわかりました。
また、これを反映するために予期されるキャリブレーション エラー (ECE) が失敗することも検証しているため、この設定ではそれに依存しないようコミュニティにアドバイスしています。

要約(オリジナル)

Language models (LMs) are statistical models trained to assign probability to human-generated text. As such, it is reasonable to question whether they approximate linguistic variability exhibited by humans well. This form of statistical assessment is difficult to perform at the passage level, for it requires acceptability judgements (i.e., human evaluation) or a robust automated proxy (which is non-trivial). At the word level, however, given some context, samples from an LM can be assessed via exact matching against a prerecorded dataset of alternative single-word continuations of the available context. We exploit this fact and evaluate the LM’s ability to reproduce variability that humans (in particular, a population of English speakers) exhibit in the ‘next word prediction’ task. This can be seen as assessing a form of calibration, which, in the context of text classification, Baan et al. (2022) termed calibration to human uncertainty. We assess GPT2, BLOOM and ChatGPT and find that they exhibit fairly low calibration to human uncertainty. We also verify the failure of expected calibration error (ECE) to reflect this, and as such, advise the community against relying on it in this setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google