Verbal Process Supervision Elicits Better Coding Agents

要約

大規模な言語モデルの出現とAIエージェントとしてのアプリケーションは、最新のコード生成ベンチマークを大幅に進め、最新のソフトウェアエンジニアリングタスクを変換しました。
ただし、テスト時間計算された推論モデルがあっても、これらのシステムは依然として複雑なソフトウェアエンジニアリングの課題に苦労しています。
この作業では、口頭プロセス監督（VPS）で強化されたコードの理解と推論エージェントシステムであるCuraが紹介され、BigCodebenchなどの挑戦的なベンチマークに関するベースラインモデルよりも3.65 \％の改善を達成します。
さらに、Curaは、O3-MiniモデルとVPSテクニックとペアになった場合、最先端のパフォーマンスを達成します。
この作業は、推論主導のアーキテクチャとLLMベースのコード生成を統合する際の一歩を表しており、言語モデルのエージェントの推論が複雑なソフトウェアエンジニアリングタスクを解決できるようにします。

要約(オリジナル)

The emergence of large language models and their applications as AI agents have significantly advanced state-of-the-art code generation benchmarks, transforming modern software engineering tasks. However, even with test-time computed reasoning models, these systems still struggle with complex software engineering challenges. This work introduces CURA, a code understanding and reasoning agent system enhanced with verbal process supervision (VPS), achieving a 3.65\% improvement over baseline models on challenging benchmarks like BigCodeBench. Furthermore, CURA, when paired with the o3-mini model and VPS techniques, attains state-of-the-art performance. This work represents a step forward in integrating reasoning-driven architectures with LLM-based code generation, enabling agentic reasoning for language models to solve complex software engineering tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google