EVOR: Evolving Retrieval for Code Generation

要約

近年、検索補強型生成（RAG）がコード生成に適用され、成功を収めている。しかし、既存の検索補強型コード生成パイプライン(RACG)は、単一のソースによる静的な知識ベースを採用しており、大規模言語モデル(LLM)の知識が不十分なドメインへの適応能力を制限している。本研究では、クエリと多様な知識ベースの同期的進化を採用した新しいパイプラインEVORを開発する。EVOR-BENCHと名付けられた、頻繁に更新されるライブラリとロングテールのプログラミング言語に関連する4つの新しいデータセットをコンパイルする。広範な実験により、EVORはReflexion (Shinn et al., 2024)、DocPrompting (Zhou et al., 2023)などの他の手法と比較して、2～4倍の実行精度を達成することを実証する。我々は、EVORが柔軟であり、さらなる改善を達成するためにそれらと容易に組み合わせることができることを実証する。さらに分析を進めると、EVORはクエリと文書の同期的な進化と、知識ベース内の多様な情報ソースから恩恵を受けることが明らかになった。我々の研究が、今後の研究において、先進的なRACGパイプラインの設計にさらなる洞察を与えることを期待している。我々のモデル、コード、データはhttps://arks-codegen.github.io。

要約(オリジナル)

Recently the retrieval-augmented generation (RAG) has been successfully applied in code generation. However, existing pipelines for retrieval-augmented code generation (RACG) employ static knowledge bases with a single source, limiting the adaptation capabilities of Large Language Models (LLMs) to domains they have insufficient knowledge of. In this work, we develop a novel pipeline, EVOR, that employs the synchronous evolution of both queries and diverse knowledge bases. On two realistic settings where the external knowledge is required to solve code generation tasks, we compile four new datasets associated with frequently updated libraries and long-tail programming languages, named EVOR-BENCH. Extensive experiments demonstrate that EVOR achieves two to four times of execution accuracy compared to other methods such as Reflexion (Shinn et al., 2024), DocPrompting (Zhou et al., 2023), etc. We demonstrate that EVOR is flexible and can be easily combined with them to achieve further improvement. Further analysis reveals that EVOR benefits from the synchronous evolution of queries and documents and the diverse information sources in the knowledge base. We hope that our studies will inspire more insights into the design of advanced RACG pipelines in future research. Our model, code, and data are available at https://arks-codegen.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL