Post Turing: Mapping the landscape of LLM Evaluation

要約

急速に進化する大規模言語モデル（Large Language Models: LLMs）において、明確かつ標準化された評価手法の導入は、依然として重要な課題である。本稿では、アラン・チューリングが提起した基礎的な問題から現代のAI研究の時代まで、LLM評価の歴史的な軌跡をたどる。LLMの進化を異なる時期に分類し、それぞれが独自のベンチマークと評価基準によって特徴付けられる。LLMがますます人間のような行動を模倣するようになるにつれて、チューリングテストのような伝統的な評価指標は信頼性が低くなってきている。我々は、このようなモデルの社会的意義の大きさを考慮し、統一的な評価システムの必要性を強調している。一般的な評価手法の分析を通じて、評価アプローチの質的転換を提唱し、標準化と客観的基準の重要性を強調する。この研究は、LLM評価の課題に共同で取り組み、その信頼性、公平性、社会的利益を確保することをAIコミュニティに呼びかけるものである。

要約(オリジナル)

In the rapidly evolving landscape of Large Language Models (LLMs), introduction of well-defined and standardized evaluation methodologies remains a crucial challenge. This paper traces the historical trajectory of LLM evaluations, from the foundational questions posed by Alan Turing to the modern era of AI research. We categorize the evolution of LLMs into distinct periods, each characterized by its unique benchmarks and evaluation criteria. As LLMs increasingly mimic human-like behaviors, traditional evaluation proxies, such as the Turing test, have become less reliable. We emphasize the pressing need for a unified evaluation system, given the broader societal implications of these models. Through an analysis of common evaluation methodologies, we advocate for a qualitative shift in assessment approaches, underscoring the importance of standardization and objective criteria. This work serves as a call for the AI community to collaboratively address the challenges of LLM evaluation, ensuring their reliability, fairness, and societal benefit.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL