Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models

要約

言語モデルは、規模の増加に伴う量的な改善と新しい質的な機能の両方を実証します。
変革をもたらす可能性のある影響にもかかわらず、これらの新しい機能はまだ十分に特徴付けられていません。
将来の研究に情報を提供し、破壊的な新しいモデル機能に備え、社会的悪影響を軽減するには、現在および近い将来の言語モデルの機能と限界を理解することが重要です。
この課題に対処するために、Beyond the Imitation Game ベンチマーク (BIG ベンチ) を導入します。
BIG-bench は現在 204 のタスクで構成されており、132 機関の 450 人の著者が寄稿しています。
タスクのトピックは多岐にわたり、言語学、幼児期の発達、数学、常識的推論、生物学、物理学、社会的偏見、ソフトウェア開発などから問題を描きます。
BIG-bench は、現在の言語モデルの能力を超えていると考えられるタスクに焦点を当てています。
OpenAI の GPT モデル、Google 内部のデンス トランスフォーマー アーキテクチャ、およびスイッチ スタイルのスパース トランスフォーマーの動作を、数百万から数千億のパラメータにわたるモデル サイズにわたって BIG ベンチで評価します。
さらに、強力なベースラインを提供するために、人間の専門評価者のチームがすべてのタスクを実行しました。
調査結果には次のものが含まれます。モデルのパフォーマンスとキャリブレーションはどちらもスケールに応じて向上しますが、絶対的な観点で (評価者のパフォーマンスと比較すると) 劣っています。
パフォーマンスはモデル クラス間で驚くほど似ていますが、スパース性による利点があります。
徐々にかつ予測通りに改善するタスクには、通常、大規模な知識や暗記コンポーネントが含まれますが、重要なスケールで「画期的な」動作を示すタスクには、多くの場合、複数のステップやコンポーネント、または脆弱な指標が含まれます。
社会的偏見は通常、状況が曖昧な環境では規模が大きくなるにつれて増加しますが、これはプロンプトを提示することで改善できます。

要約(オリジナル)

Language models demonstrate both quantitative improvement and new qualitative capabilities with increasing scale. Despite their potentially transformative impact, these new capabilities are as yet poorly characterized. In order to inform future research, prepare for disruptive new model capabilities, and ameliorate socially harmful effects, it is vital that we understand the present and near-future capabilities and limitations of language models. To address this challenge, we introduce the Beyond the Imitation Game benchmark (BIG-bench). BIG-bench currently consists of 204 tasks, contributed by 450 authors across 132 institutions. Task topics are diverse, drawing problems from linguistics, childhood development, math, common-sense reasoning, biology, physics, social bias, software development, and beyond. BIG-bench focuses on tasks that are believed to be beyond the capabilities of current language models. We evaluate the behavior of OpenAI’s GPT models, Google-internal dense transformer architectures, and Switch-style sparse transformers on BIG-bench, across model sizes spanning millions to hundreds of billions of parameters. In addition, a team of human expert raters performed all tasks in order to provide a strong baseline. Findings include: model performance and calibration both improve with scale, but are poor in absolute terms (and when compared with rater performance); performance is remarkably similar across model classes, though with benefits from sparsity; tasks that improve gradually and predictably commonly involve a large knowledge or memorization component, whereas tasks that exhibit ‘breakthrough’ behavior at a critical scale often involve multiple steps or components, or brittle metrics; social bias typically increases with scale in settings with ambiguous context, but this can be improved with prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google