Graph-Based Machine Learning Improves Just-in-Time Defect Prediction

要約

タイトル：グラフベースの機械学習による実行直前欠陥予測の改善
要約：
– 複雑な現代のソフトウェアは、数千人の開発者の貢献が必要です。
– これにより、デベロッパーはより欠陥のある変更を導入する可能性が高くなります。
– これらの欠陥を発生させる変更が導入される時期を決定することは困難です。
– この問題を解決するために、貢献グラフを作成し、グラフベースの機械学習を使用して実行直前欠陥予測を改善することができるという仮説を立てました。
– 貢献グラフから抽出された特徴が、ソフトウェアの特徴から派生した固有の特徴よりも欠陥を引き起こす可能性のある変更のより良い予測子である可能性があることを示しました。
– グラフベースの機械学習を用いて、欠陥を引き起こす変更を表すエッジを分類し、新しいフレーミングの実行直前欠陥予測問題により優れた結果を示しました。
– 14のオープンソースプロジェクトでテストを行い、最高のモデルであるF1スコアが77.55％、マシューズ相関係数（MCC）が53.16％になることを示しました。
– 現在の実行直前欠陥予測の成果を152％増加、MCCを3％増加することができます。
– この手法の限界やオープンな課題、実際の現場での実行直前欠陥予測にどのように利用できるかについて説明します。

要約(オリジナル)

The increasing complexity of today’s software requires the contribution of thousands of developers. This complex collaboration structure makes developers more likely to introduce defect-prone changes that lead to software faults. Determining when these defect-prone changes are introduced has proven challenging, and using traditional machine learning (ML) methods to make these determinations seems to have reached a plateau. In this work, we build contribution graphs consisting of developers and source files to capture the nuanced complexity of changes required to build software. By leveraging these contribution graphs, our research shows the potential of using graph-based ML to improve Just-In-Time (JIT) defect prediction. We hypothesize that features extracted from the contribution graphs may be better predictors of defect-prone changes than intrinsic features derived from software characteristics. We corroborate our hypothesis using graph-based ML for classifying edges that represent defect-prone changes. This new framing of the JIT defect prediction problem leads to remarkably better results. We test our approach on 14 open-source projects and show that our best model can predict whether or not a code change will lead to a defect with an F1 score as high as 77.55% and a Matthews correlation coefficient (MCC) as high as 53.16%. This represents a 152% higher F1 score and a 3% higher MCC over the state-of-the-art JIT defect prediction. We describe limitations, open challenges, and how this method can be used for operational JIT defect prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI