KoLA: Carefully Benchmarking World Knowledge of Large Language Models

要約

大規模言語モデル (LLM) の前例のないパフォーマンスにより、評価の改善が必要です。
私たちは、LLM の幅広い能力を単に探求するのではなく、綿密で思慮深い設計が、徹底的で公平な、適切な評価に不可欠であると信じています。
LLM にとって世界の知識の重要性を考慮して、私たちは知識指向 LLM 評価ベンチマーク (KoLA) を構築し、その中で 3 つの重要な要素を慎重に設計します: (1) \textbf{能力モデリング} では、人間の認知を模倣して 4 つの要素を形成します。
知識関連能力のレベル分類。$19$ のタスクをカバーします。
(2) \textbf{data} については、公平な比較を保証するために、目に見えないデータと進化する知識を処理する能力を評価することを目的として、LLM によって広く事前トレーニングされたコーパスである Wikipedia と、継続的に収集される新たなコーパスの両方を使用します。
(3) \textbf{評価基準}には、タスクやモデル間の数値的比較性を高めるための総合標準スコアや、知識創造能力を自動的に評価するための独自の自己対照指標など、対照的なシステムを採用しています。
私たちは $28$ のオープンソースおよび商用 LLM を評価し、いくつかの興味深い発見を得ました。
KoLA データセットとオープン参加リーダーボードは https://kola.xlore.cn で公開されており、LLM および知識関連システムの開発に参考となるよう継続的に更新されます。

要約(オリジナル)

The unprecedented performance of large language models (LLMs) necessitates improvements in evaluations. Rather than merely exploring the breadth of LLM abilities, we believe meticulous and thoughtful designs are essential to thorough, unbiased, and applicable evaluations. Given the importance of world knowledge to LLMs, we construct a Knowledge-oriented LLM Assessment benchmark (KoLA), in which we carefully design three crucial factors: (1) For \textbf{ability modeling}, we mimic human cognition to form a four-level taxonomy of knowledge-related abilities, covering $19$ tasks. (2) For \textbf{data}, to ensure fair comparisons, we use both Wikipedia, a corpus prevalently pre-trained by LLMs, along with continuously collected emerging corpora, aiming to evaluate the capacity to handle unseen data and evolving knowledge. (3) For \textbf{evaluation criteria}, we adopt a contrastive system, including overall standard scores for better numerical comparability across tasks and models and a unique self-contrast metric for automatically evaluating knowledge-creating ability. We evaluate $28$ open-source and commercial LLMs and obtain some intriguing findings. The KoLA dataset and open-participation leaderboard are publicly released at https://kola.xlore.cn and will be continuously updated to provide references for developing LLMs and knowledge-related systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google