An Empirical Study on Data Leakage and Generalizability of Link Prediction Models for Issues and Commits

要約

タイトル：課題とコミットのためのリンク予測モデルのデータ漏洩と汎化性に関する実証研究

要約：

– 開発者はしばしば手動で関連するソフトウェアアーティファクト間のリンクを設定することで文書化とメンテナンス実践を向上させます。
– 自動リンク回復技術は、この問題に対処するために提案されていますが、これらのアプローチは主にランダムに分割されたデータセット上の予測精度の改善に焦点を当てており、データ漏洩と予測モデルの汎化性の影響には限定的な注意が払われています。
– LinkFormerは、これらの制限に対処しようとします。この方法では、既存の予測を保存し、精度を向上させ、現実世界の設定と汎化性を強化します。
– まず、予測にコンテキスト情報をより効果的に使用するために、Transformerアーキテクチャを採用し、課題とコミットのテキストとメタデータ情報を複数の事前学習済みモデルで微調整します。
– 次に、モデルのパフォーマンスへの時間の影響を測定するために、トレーニングとテストの両方でランダム分割データセットと時間的分割データセットの2つの分割ポリシーを採用します。
– 最後に、幅広いプロジェクトで高いパフォーマンスを発揮できる汎用モデルを追求するために、LinkFormerを2つの異なる転移学習設定の内部でさらに微調整します。
– 調査の結果、研究者がモデルをトレーニングする際にデータの時間経過を維持することで、現実世界のシナリオを効果的にシミュレートできることがわかりました。さらに、LinkFormerはプロジェクトベースの設定内でF1値において48％の改善を達成し、既存の手法を大幅に上回ることが示されました。最後に、LinkFormerのクロスプロジェクト設定でのパフォーマンスは、プロジェクトベースのシナリオ内の平均パフォーマンスに比肩するレベルでした。

要約(オリジナル)

To enhance documentation and maintenance practices, developers conventionally establish links between related software artifacts manually. Empirical research has revealed that developers frequently overlook this practice, resulting in significant information loss. To address this issue, automatic link recovery techniques have been proposed. However, these approaches primarily focused on improving prediction accuracy on randomly-split datasets, with limited attention given to the impact of data leakage and the generalizability of the predictive models. LinkFormer seeks to address these limitations. Our approach not only preserves and improves the accuracy of existing predictions but also enhances their alignment with real-world settings and their generalizability. First, to better utilize contextual information for prediction, we employ the Transformer architecture and fine-tune multiple pre-trained models on both textual and metadata information of issues and commits. Next, to gauge the effect of time on model performance, we employ two splitting policies during both the training and testing phases; randomly- and temporally-split datasets. Finally, in pursuit of a generic model that can demonstrate high performance across a range of projects, we undertake additional fine-tuning of LinkFormer within two distinct transfer-learning settings. Our findings support that to simulate real-world scenarios effectively, researchers must maintain the temporal flow of data when training models. Furthermore, the results demonstrate that LinkFormer outperforms existing methodologies by a significant margin, achieving a 48% improvement in F1-measure within a project-based setting. Finally, the performance of LinkFormer in the cross-project setting is comparable to its average performance within the project-based scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI