PeaTMOSS: A Dataset and Initial Analysis of Pre-Trained Models in Open-Source Software

要約

深層学習モデルの開発とトレーニングは、ますますコストがかかり、複雑になっています。
その結果、ソフトウェア エンジニアは、下流のアプリケーションに事前トレーニング済みモデル (PTM) を採用しています。
PTM サプライ チェーンのダイナミクスはほとんど解明されていないため、メタデータだけでなく、これらのモデルのその後のアプリケーションも文書化する構造化データセットの必要性が明確に示されています。
このようなデータがなければ、MSR コミュニティは PTM の採用と再利用の影響を包括的に理解することができません。
このペーパーでは、281,638 個の PTM のメタデータと、毎月 50 を超えるダウンロード (14,296 個の PTM) を含むすべての PTM の詳細なスナップショットで構成される PeaTMOSS データセットと、これらのモデルを利用する GitHub の 28,575 個のオープンソース ソフトウェア リポジトリについて説明します。
さらに、このデータセットには、15,129 のダウンストリーム GitHub リポジトリから、使用される 2,530 の PTM への 44,337 のマッピングが含まれています。
データセットの包括性を高めるために、モデルのトレーニング データセット、パラメーター、評価メトリクスを含むモデル メタデータを自動的に抽出する大規模言語モデル用のプロンプトを開発しました。
このデータセットの分析により、PTM サプライ チェーンに関する最初の概要統計が提供され、PTM 開発の傾向と PTM パッケージ ドキュメントの一般的な欠点が示されます。
このサンプル アプリケーションでは、PTM とその依存プロジェクト間でのソフトウェア ライセンスの不一致が明らかになります。
PeaTMOSS は将来の研究の基礎を築き、PTM サプライ チェーンを調査する豊富な機会を提供します。
PTM でのマイニングの機会、その下流での使用法、および横断的な質問について概説します。

要約(オリジナル)

The development and training of deep learning models have become increasingly costly and complex. Consequently, software engineers are adopting pre-trained models (PTMs) for their downstream applications. The dynamics of the PTM supply chain remain largely unexplored, signaling a clear need for structured datasets that document not only the metadata but also the subsequent applications of these models. Without such data, the MSR community cannot comprehensively understand the impact of PTM adoption and reuse. This paper presents the PeaTMOSS dataset, which comprises metadata for 281,638 PTMs and detailed snapshots for all PTMs with over 50 monthly downloads (14,296 PTMs), along with 28,575 open-source software repositories from GitHub that utilize these models. Additionally, the dataset includes 44,337 mappings from 15,129 downstream GitHub repositories to the 2,530 PTMs they use. To enhance the dataset’s comprehensiveness, we developed prompts for a large language model to automatically extract model metadata, including the model’s training datasets, parameters, and evaluation metrics. Our analysis of this dataset provides the first summary statistics for the PTM supply chain, showing the trend of PTM development and common shortcomings of PTM package documentation. Our example application reveals inconsistencies in software licenses across PTMs and their dependent projects. PeaTMOSS lays the foundation for future research, offering rich opportunities to investigate the PTM supply chain. We outline mining opportunities on PTMs, their downstream usage, and cross-cutting questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google