CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

要約

既存の大規模言語モデル（LLM）のコード推論能力が向上し、OpenAI o1やo3のような推論モデルのブレークスルーに伴い、洗練された競技レベルのコーディング能力を効果的にテストする、より挑戦的で包括的なベンチマークを開発する必要性が高まっている。LiveCodeBenchやUSACOのような既存のベンチマークは、プライベートなテストケースが利用できない、特別なジャッジのサポートがない、実行環境がずれているなどの理由で不十分です。このギャップを埋めるために、我々は初めてこれら全ての課題に効果的に対処する標準化された競技レベルのコード生成ベンチマークであるCodeEloを紹介する。CodeEloベンチマークは主に公式CodeForcesプラットフォームに基づいており、可能な限りプラットフォームとの整合を図っています。CodeForces上の最近6ヶ月間のコンテスト問題を、コンテスト部門、問題難易度評価、問題アルゴリズムタグなどの詳細情報とともに編集しています。問題を直接プラットフォームに提出するユニークな審査方法を導入し、プラットフォームと整合し、人間の参加者と同等でありながらばらつきの少ない、信頼性の高いEloレーティング計算システムを開発します。我々のCodeEloでテストすることで、既存の人気のある30個のオープンソースと3個のプロプライエタリなLLMのEloレーティングを初めて提供する。その結果、o1-miniとQwQ-32B-Previewは、それぞれ1578と1261のEloレーティングを達成し、非常に際立っていることがわかりました。また、詳細な分析実験も実施し、アルゴリズム間のパフォーマンスや、C++とPythonを使用した場合の比較に関する洞察を提供し、今後の研究の方向性を示唆している。

要約(オリジナル)

With the increasing code reasoning capabilities of existing large language models (LLMs) and breakthroughs in reasoning models like OpenAI o1 and o3, there is a growing need to develop more challenging and comprehensive benchmarks that effectively test their sophisticated competition-level coding abilities. Existing benchmarks, like LiveCodeBench and USACO, fall short due to the unavailability of private test cases, lack of support for special judges, and misaligned execution environments. To bridge this gap, we introduce CodeElo, a standardized competition-level code generation benchmark that effectively addresses all these challenges for the first time. CodeElo benchmark is mainly based on the official CodeForces platform and tries to align with the platform as much as possible. We compile the recent six months of contest problems on CodeForces with detailed information such as contest divisions, problem difficulty ratings, and problem algorithm tags. We introduce a unique judging method in which problems are submitted directly to the platform and develop a reliable Elo rating calculation system that aligns with the platform and is comparable with human participants but has lower variance. By testing on our CodeElo, we provide the Elo ratings of 30 existing popular open-source and 3 proprietary LLMs for the first time. The results show that o1-mini and QwQ-32B-Preview stand out significantly, achieving Elo ratings of 1578 and 1261, respectively, while other models struggle even with the easiest problems, placing in the lowest 25 percent among all human participants. Detailed analysis experiments are also conducted to provide insights into performance across algorithms and comparisons between using C++ and Python, which can suggest directions for future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL