AlignBench: Benchmarking Chinese Alignment of Large Language Models

要約

調整は、命令調整された大規模言語モデル (LLM) が有用なアシスタントとなるための重要なステップとなっています。
しかし、中国の新興 LLM に対する効果的な調整の評価は依然として大幅に不足しており、調整に合わせて調整された、実際のシナリオに基づいた、自由な、挑戦的かつ自動評価が求められています。
このギャップを埋めるために、中国語で LLM のアラインメントを評価するための包括的な多次元ベンチマークである AlignBench を導入します。
人間参加型のデータキュレーションパイプラインを備えた当社のベンチマークは、思考連鎖を備えたルールで調整された多次元の裁判官としてのLLMを採用し、評価として説明と最終評価を生成し、高い信頼性と解釈可能性を保証します。
さらに、GPT-4 の評価能力の 95% を回復する中国の専用評価者 LLM である CritiqueLLM によって AlignBench が評価されたことを報告します。
当社は、LLM の中国語連携の評価を容易にするために、CritiqueLLM を使用して AlignBench を評価するためのパブリック API を提供します。
すべての評価コード、データ、LLM 生成は \url{https://github.com/THUDM/AlignBench} で入手できます。

要約(オリジナル)

Alignment has become a critical step for instruction-tuned Large Language Models (LLMs) to become helpful assistants. However, effective evaluation of alignment for emerging Chinese LLMs is still significantly lacking, calling for real-scenario grounded, open-ended, challenging and automatic evaluations tailored for alignment. To fill in this gap, we introduce AlignBench, a comprehensive multi-dimensional benchmark for evaluating LLMs’ alignment in Chinese. Equipped with a human-in-the-loop data curation pipeline, our benchmark employs a rule-calibrated multi-dimensional LLM-as-Judge with Chain-of-Thought to generate explanations and final ratings as evaluations, ensuring high reliability and interpretability. Furthermore, we report AlignBench evaluated by CritiqueLLM, a dedicated Chinese evaluator LLM that recovers 95% of GPT-4’s evaluation ability. We will provide public APIs for evaluating AlignBench with CritiqueLLM to facilitate the evaluation of LLMs’ Chinese alignment. All evaluation codes, data, and LLM generations are available at \url{https://github.com/THUDM/AlignBench}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google