Language Model Behavior: A Comprehensive Survey

要約

Transformer 言語モデルは広く世間の注目を集めていますが、生成されたテキストは NLP 研究者にとってもしばしば驚くべきものです。
この調査では、タスク固有の微調整前の英語モデルの動作に関する 250 以上の最近の研究について説明します。
言語モデルは、構文、セマンティクス、語用論、世界知識、推論などの基本的な機能を備えていますが、これらの機能は特定の入力や表面の特徴に敏感です。
モデルが数千億のパラメーターにスケールするにつれて、生成されるテキストの品質が劇的に向上するにもかかわらず、モデルは依然として非現実的な応答、常識的なエラー、記憶されたテキスト、および社会的偏見を起こしがちです。
これらの弱点の多くは、テキストで学習したパターンの過度の一般化または不十分な一般化として組み立てることができます。
最近の結果を総合して、大規模な言語モデルができることとできないことについて現在知られていることを強調します。

要約(オリジナル)

Transformer language models have received widespread public attention, yet their generated text is often surprising even to NLP researchers. In this survey, we discuss over 250 recent studies of English language model behavior before task-specific fine-tuning. Language models possess basic capabilities in syntax, semantics, pragmatics, world knowledge, and reasoning, but these capabilities are sensitive to specific inputs and surface features. Despite dramatic increases in generated text quality as models scale to hundreds of billions of parameters, the models are still prone to unfactual responses, commonsense errors, memorized text, and social biases. Many of these weaknesses can be framed as over-generalizations or under-generalizations of learned patterns in text. We synthesize recent results to highlight what is currently known about what large language models can and cannot do.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google