要約
プログラマーは、プログラムのバグを特定して修正するのに苦労することがよくあります。
近年、誤ったプログラムを修正し、エラー回復をサポートするために、多くの言語モデル (LM) が提案されています。
ただし、LM は元の入力プログラムとは異なる解を生成する傾向があります。
これは、ユーザーにとって理解が困難になる可能性があります。
この論文では、CodeT5 を使用して最小限の修復編集で正しいプログラムを提案するアプローチを提案します。
間違ったプログラムと正しいプログラムのコード ペアで事前トレーニングされた CodeT5 を微調整し、いくつかのベースライン モデルを使用してそのパフォーマンスを評価します。
実験結果は、微調整された CodeT5 が 91.95% の pass@100 と、最も類似した正しいプログラムの平均編集距離 6.84 を達成したことを示しています。これは、100 個の候補プログラムを生成することによって、少なくとも 1 つの正しいプログラムを提案できることを示しています。
入門的なプログラミングの問題を解決するために、最小限の編集でプログラム修復を提案する LM の有効性を実証します。
要約(オリジナル)
Programmers often struggle to identify and fix bugs in their programs. In recent years, many language models (LMs) have been proposed to fix erroneous programs and support error recovery. However, the LMs tend to generate solutions that differ from the original input programs. This leads to potential comprehension difficulties for users. In this paper, we propose an approach to suggest a correct program with minimal repair edits using CodeT5. We fine-tune a pre-trained CodeT5 on code pairs of wrong and correct programs and evaluate its performance with several baseline models. The experimental results show that the fine-tuned CodeT5 achieves a pass@100 of 91.95% and an average edit distance of the most similar correct program of 6.84, which indicates that at least one correct program can be suggested by generating 100 candidate programs. We demonstrate the effectiveness of LMs in suggesting program repair with minimal edits for solving introductory programming problems.
arxiv情報
| 著者 | Atsushi Shirafuji,Md. Mostafizer Rahman,Md Faizul Ibne Amin,Yutaka Watanobe |
| 発行日 | 2023-09-26 08:45:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google