INTERVENOR: Prompt the Coding Ability of Large Language Models with the Interactive Chain of Repairing

要約

この論文は、人間のコード修復動作 (反復的な判断、再考、修復) を模倣し、大規模言語モデル (LLM) のコーディング能力を促進する INTERactiVE Chain Of Repairing (INTERVENOR) を提案します。
具体的には、INTERVENOR は、コード学習者とコード教師という 2 つの LLM ベースのエージェントを採用し、コード修復で異なる役割を果たし、生成されたコードを対話的に修復します。
コード学習者は、コード教師の指示に従ってコードを生成および修復するように求められます。
コード教師は、コンパイラからの対応するフィードバックに従ってコード エラーを再考し、コード学習者のコード修復プロセスをガイドする修復チェーン (CoR) を繰り返し生成します。
私たちの実験では、INTERVENOR が最先端の手法を上回っており、コード生成タスクとコード変換タスクにおいて GPT-3.5 モデルと比較してそれぞれ約 13% と 4.5% の改善を達成していることが示されています。
さらに分析を進めると、CoR は自然言語を通じてバグの理由と解決策を明らかにできることがわかりました。
コード コンパイラのフィードバックのおかげで、INTERVENOR はコード内の構文エラーとアサーション エラーを正確に特定し、コードを修復するための正確な指示を提供できるため、LLM はわずか 3 回の修復ターンでプラトー パフォーマンスを達成できます。
すべてのデータとコードは https://github.com/NEUIR/INTERVENOR で入手できます。

要約(オリジナル)

This paper proposes INTERactiVE chaiN Of Repairing (INTERVENOR), which mimics human code repairing behavior (iteratively judging, rethinking, and repairing) and prompts the coding ability of regard Large Language Models (LLMs). Specifically, INTERVENOR employs two LLM based agents, Code Learner and Code Teacher, to play different roles in code repairing and work interactively to repair the generated codes. The Code Learner is asked to generate and repair code according to the instructions from the Code Teacher. The Code Teacher rethinks the code errors according to the corresponding feedback from compilers and iteratively generates the chain-of-repairing (CoR) to guide the code repairing process for Code Learner. Our experiments show that INTERVENOR outperforms the state-of-the-art methods and achieves about 13% and 4.5% improvements over the GPT-3.5 model in code generation and code translation tasks, respectively. Our further analyses show that CoR can illuminate the bug reasons and solution plans via natural language. Thanks to the feedback of code compilers, INTERVENOR can accurately identify the syntax errors and assertion errors in the code and provide precise instructions to repair codes, making LLMs achieve the plateau performance with only three repairing turns. All data and codes are available at https://github.com/NEUIR/INTERVENOR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google