要約
タイトル: BigIssue：現実的なバグ特定のベンチマーク
要約:
– 機械学習ツールが進化するにつれ、重要な問題が生じます：機械学習が私たちが書くコードをどのように改善できるでしょうか？
– GPT-3やBertのようなモデルを使用した自然言語処理において、コードへの適用が始まっています。
– これまでの研究のほとんどは自動プログラム修正（APR）に焦点を当ててきましたが、合成または高度にフィルタリングされたデータセットでは有望な結果が出ています。
– しかし、不十分なバグ特定のため、これらのモデルを実世界のシナリオに適用することは難しい。
– BigIssueを提案します：現実的なバグ特定のためのベンチマークです。このベンチマークの目標は2つあります。1つ目は、実際のJavaバグと合成バグの多様性を持つ一般的なベンチマークを提供することです。2つ目は、リポジトリ全体の文脈に注目することで、モデルのバグ特定能力の向上を促すことです。
– BigIssueの導入により、バグ特定の最先端を進め、結果としてAPRのパフォーマンスを向上させ、現代の開発サイクルへの適用性を高めたいと考えています。
要約(オリジナル)
As machine learning tools progress, the inevitable question arises: How can machine learning help us write better code? With significant progress being achieved in natural language processing with models like GPT-3 and Bert, the applications of natural language processing techniques to code are starting to be explored. Most of the research has been focused on automatic program repair (APR), and while the results on synthetic or highly filtered datasets are promising, such models are hard to apply in real-world scenarios because of inadequate bug localization. We propose BigIssue: a benchmark for realistic bug localization. The goal of the benchmark is two-fold. We provide (1) a general benchmark with a diversity of real and synthetic Java bugs and (2) a motivation to improve bug localization capabilities of models through attention to the full repository context. With the introduction of BigIssue, we hope to advance the state of the art in bug localization, in turn improving APR performance and increasing its applicability to the modern development cycle.
arxiv情報
| 著者 | Paul Kassianik,Erik Nijkamp,Bo Pang,Yingbo Zhou,Caiming Xiong |
| 発行日 | 2023-05-04 22:31:12+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, OpenAI