CommitBench: A Benchmark for Commit Message Generation

要約

コミット メッセージの作成は、多くのソフトウェア開発者にとって退屈な日常作業であり、無視されることがよくあります。
このタスクを自動化すると、メッセージが有益であることを保証しながら時間を節約できる可能性があります。
高品質のデータセットと客観的なベンチマークは、この目標に向けた堅実な調査と評価のための重要な前提条件です。
既存のデータセットには、コミット選択の品質、小さいサンプル サイズ、重複、プライバシーの問題、再配布用のライセンスの欠如など、さまざまな問題があることを示します。
これにより、モデルが使用できなくなったり、データの偏りにより劣ったモデルの方が高い評価スコアが得られるという偏った評価が発生する可能性があります。
データセット作成のベスト プラクティスを採用して、新しい大規模データセット CommitBench をコンパイルします。
再配布を許可するライセンスを持つさまざまなプロジェクトからコミットをサンプリングし、フィルタリングとデータセットの拡張機能を適用して、生成されるコミット メッセージの品質を向上させます。
CommitBench を使用して既存のモデルを比較し、他のアプローチがソース コードで事前トレーニングされた Transformer モデルよりも優れていることを示します。
ソースコード( https://github.com/Maxscha/commitbench )を公開することで、今後の研究を加速させたいと考えています。

要約(オリジナル)

Writing commit messages is a tedious daily task for many software developers, and often remains neglected. Automating this task has the potential to save time while ensuring that messages are informative. A high-quality dataset and an objective benchmark are vital preconditions for solid research and evaluation towards this goal. We show that existing datasets exhibit various problems, such as the quality of the commit selection, small sample sizes, duplicates, privacy issues, and missing licenses for redistribution. This can lead to unusable models and skewed evaluations, where inferior models achieve higher evaluation scores due to biases in the data. We compile a new large-scale dataset, CommitBench, adopting best practices for dataset creation. We sample commits from diverse projects with licenses that permit redistribution and apply our filtering and dataset enhancements to improve the quality of generated commit messages. We use CommitBench to compare existing models and show that other approaches are outperformed by a Transformer model pretrained on source code. We hope to accelerate future research by publishing the source code( https://github.com/Maxscha/commitbench ).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google