CONLINE: Complex Code Generation and Refinement with Online Searching and Correctness Testing

要約

大規模言語モデル (LLM) は、自然言語記述を実行可能コードに変換することにより、コード生成機能に革命をもたらしました。
ただし、現実世界のシナリオ内で複雑なコードを生成することは、複雑な構造、微妙なバグ、高度なデータ型の理解、補足コンテンツの欠如などにより、依然として困難です。
これらの課題に対処するために、CONLINE フレームワークを導入しました。このフレームワークは、情報取得のための計画的なオンライン検索と反復改良のための自動正確性テストを組み込むことでコード生成を強化します。
CONLINE はまた、複雑な入力と出力をシリアル化して理解を向上させ、フレームワークが実際のアプリケーションに適応できるようにテスト ケースを生成します。
CONLINE は、DS-1000 および ClassEval データセットでの厳密な実験を通じて検証されています。
これは、CONLINE が複雑なコード生成の品質を大幅に向上させ、複雑なコードを生成する際の LLM の実用性と信頼性を高める可能性を強調していることを示しています。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized code generation ability by converting natural language descriptions into executable code. However, generating complex code within real-world scenarios remains challenging due to intricate structures, subtle bugs, understanding of advanced data types, and lack of supplementary contents. To address these challenges, we introduce the CONLINE framework, which enhances code generation by incorporating planned online searches for information retrieval and automated correctness testing for iterative refinement. CONLINE also serializes the complex inputs and outputs to improve comprehension and generate test case to ensure the framework’s adaptability for real-world applications. CONLINE is validated through rigorous experiments on the DS-1000 and ClassEval datasets. It shows that CONLINE substantially improves the quality of complex code generation, highlighting its potential to enhance the practicality and reliability of LLMs in generating intricate code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google