Tag that issue: Applying API-domain labels in issue tracking systems

要約

【タイトル】APIドメインラベルを問題追跡システムに適用する

【要約】
– OSSプロジェクトでタスクを選択するために、問題に必要なスキルにラベルを付けることは貢献者にとって役立つ。
– 問題に手動でラベルを付けることは時間がかかり、エラーが生じる。自動化されたアプローチは、大部分がバグ/非バグの分類に限定されている。
– 本研究では、APIドメインと呼ばれる高レベルなAPIのカテゴリーで問題に自動的にラベリングすることが可能か検討した。
– 問題に影響を与えるソースコードで使用されているAPIは、問題に必要なスキル（たとえばDB、セキュリティ、UIなど）のプロキシになると考えている。
– ユーザースタディ（n = 74）を実施し、APIドメインラベルが潜在的な貢献者にとって適切であるかを評価し、問題の説明とプロジェクトの履歴を活用して予測モデルを構築し、プロジェクトの貢献者（n = 20）で予測を検証した。
– 結果は、（i）プロジェクトの新規参加者は、APIドメインラベルがタスク選択に役立つと考えている、（ii）ラベルは平均で84％の精度と78.6％の再現率で予測できること、（iii）別のプロジェクトでトレーニングしてテストする場合、予測の結果は精度71.3％、再現率52.5％に達すること、（iv）プロジェクトの貢献者は、予測の多くが必要なスキルを特定するのに役立つと考えている。
– 以上の結果から、本研究のアプローチは実際に問題に自動ラベリングを適用して、開発者が自分のスキルにより適したタスクを見つけるのを支援できると示唆される。

要約(オリジナル)

Labeling issues with the skills required to complete them can help contributors to choose tasks in Open Source Software projects. However, manually labeling issues is time-consuming and error-prone, and current automated approaches are mostly limited to classifying issues as bugs/non-bugs. We investigate the feasibility and relevance of automatically labeling issues with what we call ‘API-domains,’ which are high-level categories of APIs. Therefore, we posit that the APIs used in the source code affected by an issue can be a proxy for the type of skills (e.g., DB, security, UI) needed to work on the issue. We ran a user study (n=74) to assess API-domain labels’ relevancy to potential contributors, leveraged the issues’ descriptions and the project history to build prediction models, and validated the predictions with contributors (n=20) of the projects. Our results show that (i) newcomers to the project consider API-domain labels useful in choosing tasks, (ii) labels can be predicted with a precision of 84% and a recall of 78.6% on average, (iii) the results of the predictions reached up to 71.3% in precision and 52.5% in recall when training with a project and testing in another (transfer learning), and (iv) project contributors consider most of the predictions helpful in identifying needed skills. These findings suggest our approach can be applied in practice to automatically label issues, assisting developers in finding tasks that better match their skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI