GIRT-Model: Automated Generation of Issue Report Templates

要約

GitHub や GitLab などのプラットフォームでは、問題レポート テンプレート (IRT) を導入し、より効果的な問題管理と開発者の期待とのより適切な調整を可能にします。
ただし、これらのテンプレートはほとんどのリポジトリで広く採用されておらず、開発者によるテンプレートの生成を支援するツールは現在ありません。
この作業では、構造と必要なフィールドに関する開発者の指示に基づいて IRT を自動的に生成するアシスタント言語モデルである GIRT-Model を紹介します。
GiRT-Instruct は、GitHub リポジトリから取得した IRT を使用して、命令と IRT のペアで構成されるデータセットを作成します。
GIRT-Instruct を使用して T5 ベース モデルを命令調整し、GIRT モデルを作成します。
私たちの実験では、GIRT モデルは、ROUGE、BLEU、METEOR、および人間による評価で大幅に高いスコアを達成することにより、IRT 生成において一般的な言語モデル (パラメーター サイズが異なる T5 および Flan-T5) を上回りました。
さらに、参加者が GIRT モデルを使用して短い IRT を作成したユーザー調査で、GIRT モデルの有効性を分析しました。
私たちの結果は、参加者が GIRT モデルがテンプレートの自動生成に役立つと感じていることを示しています。
私たちは、GIRT モデルの使用を通じて、より多くの開発者がリポジトリに IRT を採用することを奨励できることを願っています。
コード、データセット、モデルは https://github.com/ISE-Research/girt-model で公開されています。

要約(オリジナル)

Platforms such as GitHub and GitLab introduce Issue Report Templates (IRTs) to enable more effective issue management and better alignment with developer expectations. However, these templates are not widely adopted in most repositories, and there is currently no tool available to aid developers in generating them. In this work, we introduce GIRT-Model, an assistant language model that automatically generates IRTs based on the developer’s instructions regarding the structure and necessary fields. We create GIRT-Instruct, a dataset comprising pairs of instructions and IRTs, with the IRTs sourced from GitHub repositories. We use GIRT-Instruct to instruction-tune a T5-base model to create the GIRT-Model. In our experiments, GIRT-Model outperforms general language models (T5 and Flan-T5 with different parameter sizes) in IRT generation by achieving significantly higher scores in ROUGE, BLEU, METEOR, and human evaluation. Additionally, we analyze the effectiveness of GIRT-Model in a user study in which participants wrote short IRTs with GIRT-Model. Our results show that the participants find GIRT-Model useful in the automated generation of templates. We hope that through the use of GIRT-Model, we can encourage more developers to adopt IRTs in their repositories. We publicly release our code, dataset, and model at https://github.com/ISE-Research/girt-model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google