Satori-SWE: Evolutionary Test-Time Scaling for Sample-Efficient Software Engineering

要約

言語モデル（LMS）は、標準化されたコーディングベンチマークでうまく機能しますが、特にモデルパラメーターが100B未満の場合、SWEベンチでGitHubの問題を解決するなどの実際のソフトウェアエンジニアリングタスクに苦労しています。
計算コストが低いため、より小さなモデルは実際には望ましいものですが、パフォーマンスの改善は依然として困難です。
既存のアプローチは、主に高品質のデータを使用して監視された微調整（SFT）に依存していますが、これは大規模なキュレートに費用がかかります。
別の方法は、テスト時間スケーリングです。複数の出力を生成し、検証剤を使用してスコアリングし、最適な出力を選択します。
効果的ですが、この戦略には多くの場合、過度のサンプリングとコストのかかるスコアリングが必要であり、実用的なアプリケーションが制限されます。
生成を進化プロセスとして扱うサンプル効率の良い方法である進化的テスト時間スケーリング（Evoscale）を提案します。
選択と突然変異を介して出力を繰り返し精製することにより、Evoscaleは出力分布を高得点領域にシフトし、正しいソリューションを見つけるために必要なサンプルの数を減らします。
繰り返しサンプリングと選択からオーバーヘッドを減らすために、強化学習（RL）を使用してモデルを訓練して自己進化させます。
推論時に外部検証剤に頼るのではなく、モデルは、反復全体でそれ自体の世代のスコアを自己改善することを学びます。
SWE-Bench-Verifiedで評価されたEvoscaleにより、32BモデルのSatori-Swe-32Bは、いくつかのサンプルを使用しながら100B以上のパラメーターを持つモデルのパフォーマンスと一致またはそれを超えることができます。
コード、データ、およびモデルは完全にオープンソースがかかります。

要約(オリジナル)

Language models (LMs) perform well on standardized coding benchmarks but struggle with real-world software engineering tasks such as resolving GitHub issues in SWE-Bench, especially when model parameters are less than 100B. While smaller models are preferable in practice due to their lower computational cost, improving their performance remains challenging. Existing approaches primarily rely on supervised fine-tuning (SFT) with high-quality data, which is expensive to curate at scale. An alternative is test-time scaling: generating multiple outputs, scoring them using a verifier, and selecting the best one. Although effective, this strategy often requires excessive sampling and costly scoring, limiting its practical application. We propose Evolutionary Test-Time Scaling (EvoScale), a sample-efficient method that treats generation as an evolutionary process. By iteratively refining outputs via selection and mutation, EvoScale shifts the output distribution toward higher-scoring regions, reducing the number of samples needed to find correct solutions. To reduce the overhead from repeatedly sampling and selection, we train the model to self-evolve using reinforcement learning (RL). Rather than relying on external verifiers at inference time, the model learns to self-improve the scores of its own generations across iterations. Evaluated on SWE-Bench-Verified, EvoScale enables our 32B model, Satori-SWE-32B, to match or exceed the performance of models with over 100B parameters while using a few samples. Code, data, and models will be fully open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google