CoCoST: Automatic Complex Code Generation with Online Searching and Correctness Testing

要約

大規模言語モデルは、自然言語記述を実行可能なコードに変換することにより、コード生成能力に革命をもたらしました。
ただし、現実世界のシナリオ内で複雑なコードを生成することは、複雑な構造、微妙なバグ、高度なデータ型の理解、補足コンテンツの欠如などにより、依然として困難です。
これらの課題に対処するために、CoCoST フレームワークを導入しました。これは、計画されたクエリによる詳細情報のオンライン検索と、コード改良のための正確性テストによって、複雑なコード生成を強化します。
さらに、CoCoST は複雑な入出力をシリアル化して理解を向上させ、テスト ケースを生成して現実世界のアプリケーションへの適応性を確保します。
CoCoST は、DS-1000 および ClassEval データセットでの厳密な実験を通じて検証されています。
実験結果は、CoCoST が複雑なコード生成の品質を大幅に向上させることを示しており、複雑なコードを生成する際の LLM の実用性を高める可能性を強調しています。

要約(オリジナル)

Large Language Models have revolutionized code generation ability by converting natural language descriptions into executable code. However, generating complex code within real-world scenarios remains challenging due to intricate structures, subtle bugs, understanding of advanced data types, and lack of supplementary contents. To address these challenges, we introduce the CoCoST framework, which enhances complex code generation by online searching for more information with planned queries and correctness testing for code refinement. Moreover, CoCoST serializes the complex inputs and outputs to improve comprehension and generates test cases to ensure the adaptability for real-world applications. CoCoST is validated through rigorous experiments on the DS-1000 and ClassEval datasets. Experimental results show that CoCoST substantially improves the quality of complex code generation, highlighting its potential to enhance the practicality of LLMs in generating complex code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google