SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

要約

SWE-Lancerを紹介します。これは、Upworkの1,400を超えるフリーランスソフトウェアエンジニアリングタスクのベンチマークで、実際の支払いで合計100万米ドルの価値があります。
SWE-Lancerには、\ $ 50のバグ修正から\ $ 32,000の機能実装までの独立したエンジニアリングタスクと、モデルが技術的な実装提案を選択する管理タスクの両方を含みます。
独立したタスクは、経験豊富なソフトウェアエンジニアによってトリプル検証されたエンドツーエンドテストで採点されますが、元の雇用されたエンジニアリングマネージャーの選択に対して管理上の決定が評価されます。
モデルのパフォーマンスを評価し、フロンティアモデルがまだタスクの大部分を解決できないことがわかります。
将来の研究を促進するために、統一されたDockerイメージとパブリック評価の分割であるSWE-Lancer Diamond（https://github.com/openai/swelancer-benchmark）をオープンソースします。
モデルのパフォーマンスを金銭的価値にマッピングすることにより、SWE-LancerがAIモデル開発の経済的影響に関するより多くの研究を可能にすることを願っています。

要約(オリジナル)

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \$1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks–ranging from \$50 bug fixes to \$32,000 feature implementations–and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google