Comparison of Machine Learning Methods for Assigning Software Issues to Team Members

要約

ソフトウェアの問題には、開発中に修正、改善、または新しいスレッドを作成するための作業単位が含まれており、チーム メンバー間のコミュニケーションを促進します。
最も関連性の高いチーム メンバーに問題を割り当て、問題のカテゴリを決定することは、退屈で困難な作業です。
分類を間違えると、プロジェクトの遅れや手戻り、チームメンバー間のトラブルが発生します。
この論文では、浅い機械学習手法向けに慎重に精選された一連の言語特徴を提案し、浅い機械学習手法とアンサンブル手法のパフォーマンスを深い言語モデルと比較します。
最先端技術とは異なり、ソリューションの汎用性に貢献するために、特定の個人やチームではなく、問題を 4 つの役割 (デザイナー、開発者、テスター、リーダー) に割り当てます。
また、ソリューションの策定に業界の慣行を反映するために、開発者の経験レベルも考慮します。
私たちは、世界トップ 3 のテレビ制作者の 1 つから 5 つの産業データ セットを収集して注釈を付け、提案を評価し、深層言語モデルと比較します。
当社のデータセットには合計 5,324 件の問題が含まれています。
浅い技術のアンサンブル分類器は、統計的に最先端の深層言語モデルに匹敵する精度で課題割り当ての 0.92 を達成することを示します。
貢献には、5 つの注釈付き産業問題データ セットの公開共有、明確で包括的な機能セットの開発、新しいラベル セットの導入、浅い機械学習技術のアンサンブル分類器の有効性の検証が含まれます。

要約(オリジナル)

Software issues contain units of work to fix, improve, or create new threads during the development and facilitate communication among the team members. Assigning an issue to the most relevant team member and determining a category of an issue is a tedious and challenging task. Wrong classifications cause delays and rework in the project and trouble among the team members. This paper proposes a set of carefully curated linguistic features for shallow machine learning methods and compares the performance of shallow and ensemble methods with deep language models. Unlike the state-of-the-art, we assign issues to four roles (designer, developer, tester, and leader) rather than to specific individuals or teams to contribute to the generality of our solution. We also consider the level of experience of the developers to reflect the industrial practices in our solution formulation. We collect and annotate five industrial data sets from one of the top three global television producers to evaluate our proposal and compare it with deep language models. Our data sets contain 5324 issues in total. We show that an ensemble classifier of shallow techniques achieves 0.92 for issue assignment in accuracy which is statistically comparable to the state-of-the-art deep language models. The contributions include the public sharing of five annotated industrial issue data sets, the development of a clear and comprehensive feature set, the introduction of a novel label set, and the validation of the efficacy of an ensemble classifier of shallow machine learning techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google