Bug Destiny Prediction in Large Open-Source Software Repositories through Sentiment Analysis and BERT Topic Modeling

要約

この研究では、Bugzilla Eclipseプロジェクトのデータを使用して、解決時間、修正時間、バグの最終ステータスなど、主要なバグ関連の結果を予測するための新しいアプローチを調査します。
具体的には、予測精度を高めるためにバグが解決される前に利用可能な機能を活用します。
私たちの方法論には、感情分析が組み込まれて、感情スコアと感情分類（肯定的または否定的）の両方を導き出します。
さらに、バグの優先度レベルとそのトピックを統合し、吸収性ニューラルネットワーク（CNN）および多層Perceptron（MLP）の特徴として脳視モデルを使用して抽出しました。
私たちの調査結果は、脳底分析と感情分析の組み合わせが特定のモデルパフォーマンスメトリックを改善できることを示しています。
さらに、モデル入力のバランスをとると、ほとんどの場合、精度が大幅に減少するという犠牲を払っていますが、実用的な適用性が向上することがわかります。
主要な目的に対処し、解像度までの時間、フィックスまでの時間、およびバグの運命を予測するために、バイナリ分類と正確な時間値予測の両方を採用して、予測効果の比較評価を可能にします。
結果は、感情分析がバグの最終的な結果の貴重な予測因子として機能し、特にそれが修正されるかどうかを決定することを示しています。
ただし、バグをより複雑なまたは型破りな結果カテゴリに分類する場合、その有用性はあまり顕著ではありません。

要約(オリジナル)

This study explores a novel approach to predicting key bug-related outcomes, including the time to resolution, time to fix, and ultimate status of a bug, using data from the Bugzilla Eclipse Project. Specifically, we leverage features available before a bug is resolved to enhance predictive accuracy. Our methodology incorporates sentiment analysis to derive both an emotionality score and a sentiment classification (positive or negative). Additionally, we integrate the bug’s priority level and its topic, extracted using a BERTopic model, as features for a Convolutional Neural Network (CNN) and a Multilayer Perceptron (MLP). Our findings indicate that the combination of BERTopic and sentiment analysis can improve certain model performance metrics. Furthermore, we observe that balancing model inputs enhances practical applicability, albeit at the cost of a significant reduction in accuracy in most cases. To address our primary objectives, predicting time-to-resolution, time-to-fix, and bug destiny, we employ both binary classification and exact time value predictions, allowing for a comparative evaluation of their predictive effectiveness. Results demonstrate that sentiment analysis serves as a valuable predictor of a bug’s eventual outcome, particularly in determining whether it will be fixed. However, its utility is less pronounced when classifying bugs into more complex or unconventional outcome categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google