An Empirical Study on Strong-Weak Model Collaboration for Repo-level Code Generation

要約

弱いモデルがより低コストでシンプルなタスクを処理し、最も挑戦的なタスクが強力なモデルに委任されるリポジトリレベルのコード生成のための強力な言語モデルと弱い言語モデルのコスト効率の高いコラボレーションを研究します。
多くの作品がこのタスクのアーキテクチャを提案していますが、コストに比べてパフォーマンスを分析するものはほとんどありません。
GitHub発行解決に関するコンテキストベース、パイプラインベース、ダイナミックの幅広いコラボレーション戦略を評価します。
当社の最も効果的な共同戦略は、コストを40％削減しながら、強力なモデルと同等のパフォーマンスを達成します。
調査結果に基づいて、さまざまな予算とパフォーマンスの制約の下でコラボレーション戦略を選択するための実用的なガイドラインを提供します。
我々の結果は、強力なウィークコラボレーションが、コスト、パイプライン、コンテキストベースの方法のほんの一部で弱いモデルのパフォーマンスを大幅に向上させることを示しています。
https://github.com/shubhamrgandhi/codegen-strong-weak-collabで作業のコードをリリースします。

要約(オリジナル)

We study cost-efficient collaboration between strong and weak language models for repository-level code generation, where the weak model handles simpler tasks at lower cost, and the most challenging tasks are delegated to the strong model. While many works propose architectures for this task, few analyze performance relative to cost. We evaluate a broad spectrum of collaboration strategies: context-based, pipeline-based, and dynamic, on GitHub issue resolution. Our most effective collaborative strategy achieves equivalent performance to the strong model while reducing the cost by 40%. Based on our findings, we offer actionable guidelines for choosing collaboration strategies under varying budget and performance constraints. Our results show that strong-weak collaboration substantially boosts the weak model’s performance at a fraction of the cost, pipeline and context-based methods being most efficient. We release the code for our work at https://github.com/shubhamrgandhi/codegen-strong-weak-collab.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google