ZS4C: Zero-Shot Synthesis of Compilable Code for Incomplete Code Snippets using LLMs

要約

技術 Q&A サイトは、知識を求めるソフトウェア開発者にとって貴重ですが、そこで提供されるコード スニペットは、未解決の型や不足しているライブラリのためにコンパイルできず、不完全であることがよくあります。
これは、これらのスニペットを再利用または分析したいユーザーにとって課題となります。
既存の方法は、コンパイル可能なコードの作成に焦点を当てていないか、成功率が低いかのどちらかです。
これに対処するために、大規模言語モデル (LLM) を使用して不完全なスニペットからコンパイル可能なコードをゼロショット合成するための軽量アプローチである ZS4C を提案します。
ZS4C は 2 つの段階で動作します。まず、GPT-3.5 などの LLM を使用して、スニペット内の欠落している import ステートメントを特定します。
2 番目に、バリデータ (コンパイラなど) と連携して、不正なインポートや構文の問題によって引き起こされるコンパイル エラーを修正します。
私たちは、StatType-SO ベンチマークと、最も人気のある 20 個の Python ライブラリにわたる Stack Overflow の 539 個の Python スニペットを含む新しいデータセット Python-SO で ZS4C を評価しました。
ZS4C は既存の手法を大幅に上回り、最先端の SnR と比較してコンパイル率が 63% から 95.1% に向上し、50.1% の向上を記録しました。
平均して、ZS4C は SnR よりも正確なインポート ステートメント (F1 スコア 0.98) を推論でき、F1 では 8.5% の改善が見られます。

要約(オリジナル)

Technical Q&A sites are valuable for software developers seeking knowledge, but the code snippets they provide are often uncompilable and incomplete due to unresolved types and missing libraries. This poses a challenge for users who wish to reuse or analyze these snippets. Existing methods either do not focus on creating compilable code or have low success rates. To address this, we propose ZS4C, a lightweight approach for zero-shot synthesis of compilable code from incomplete snippets using Large Language Models (LLMs). ZS4C operates in two stages: first, it uses an LLM, like GPT-3.5, to identify missing import statements in a snippet; second, it collaborates with a validator (e.g., compiler) to fix compilation errors caused by incorrect imports and syntax issues. We evaluated ZS4C on the StatType-SO benchmark and a new dataset, Python-SO, which includes 539 Python snippets from Stack Overflow across the 20 most popular Python libraries. ZS4C significantly outperforms existing methods, improving the compilation rate from 63% to 95.1% compared to the state-of-the-art SnR, marking a 50.1% improvement. On average, ZS4C can infer more accurate import statements (with an F1 score of 0.98) than SnR, with an improvement of 8.5% in the F1.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google