Applying Large Language Models API to Issue Classification Problem

要約

ソフトウェア エンジニアリングでは、リソースの割り当てを最適化し、重大な問題に迅速に対処するために、問題レポートの効果的な優先順位付けが非常に重要です。
ただし、問題レポートを手動で分類して優先順位を付けるのは手間がかかり、拡張性に欠けます。
あるいは、多くのオープン ソース ソフトウェア (OSS) プロジェクトは、適切なトレーニングのために実質的なデータセットに依存しているにもかかわらず、このタスクに自動プロセスを採用しています。
この研究では、小規模なデータセットでトレーニングした場合でも、問題の優先順位付けの信頼性を確保する自動化されたアプローチを考案することを目指しています。
私たちが提案する方法論は、このタスクを効率的に処理する可能性を認識した、生成事前トレーニング済みトランスフォーマー (GPT) の力を活用しています。
このようなモデルの機能を活用することで、信頼性を維持しながら大規模なトレーニング データの必要性を軽減し、問題レポートに正確に優先順位を付けるための堅牢なシステムを開発することを目指しています。
私たちの研究では、削減されたトレーニング データセットを使用して問題レポートに正確にラベルを付け、優先順位を付ける、信頼性の高い GPT ベースのアプローチを開発しました。
大量のデータ要件への依存を減らし、数ショットの微調整に重点を置くことで、当社の方法論は、ソフトウェア エンジニアリングにおける問題の優先順位付けのための、よりアクセスしやすく効率的なソリューションを提供します。
私たちのモデルは、個々のプロジェクトの問題タイプを、精度で最大 93.2%、再現率で 95%、F1 スコアで 89.3% まで予測しました。

要約(オリジナル)

Effective prioritization of issue reports is crucial in software engineering to optimize resource allocation and address critical problems promptly. However, the manual classification of issue reports for prioritization is laborious and lacks scalability. Alternatively, many open source software (OSS) projects employ automated processes for this task, albeit relying on substantial datasets for adequate training. This research seeks to devise an automated approach that ensures reliability in issue prioritization, even when trained on smaller datasets. Our proposed methodology harnesses the power of Generative Pre-trained Transformers (GPT), recognizing their potential to efficiently handle this task. By leveraging the capabilities of such models, we aim to develop a robust system for prioritizing issue reports accurately, mitigating the necessity for extensive training data while maintaining reliability. In our research, we have developed a reliable GPT-based approach to accurately label and prioritize issue reports with a reduced training dataset. By reducing reliance on massive data requirements and focusing on few-shot fine-tuning, our methodology offers a more accessible and efficient solution for issue prioritization in software engineering. Our model predicted issue types in individual projects up to 93.2% in precision, 95% in recall, and 89.3% in F1-score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google