Continuous Integration Practices in Machine Learning Projects: The Practitioners` Perspective

要約

継続的な統合（CI）は、最新のソフトウェア開発の基礎です。
ただし、従来のソフトウェアプロジェクトで広く採用されていますが、CIプラクティスを機械学習（ML）プロジェクトに適用すると、特徴的な特性が得られます。
たとえば、私たちの以前の研究では、MLプロジェクトが、非MLの対応物と比較して、長いビルド期間とテストカバレッジ率の低下を経験することが多いことが明らかになりました。
これらの定量的調査結果に基づいて、この研究は47 mLのプロジェクトから155人の実務家を調査し、定性的な観点からこれらの特徴の根本的な理由を調査します。
開業医は、テストの複雑さ、インフラストラクチャの要件、構築期間と安定性など、8つの重要な違いを強調しました。
開業医が言及した一般的な課題には、プロジェクトの複雑さの高まり、モデルトレーニングの需要、広範なデータ処理、計算リソースのニーズの増加、依存管理が含まれます。
さらに、MLシステムの非決定的な性質、データ依存関係、および計算上の制約は、効果的なテストに対する重要な障壁として特定されました。
この研究からの重要なポイントは、基礎CIの原則は価値があり続けているが、MLプロジェクトでは、独自の課題に対処するために調整されたアプローチが必要だということです。
このギャップを埋めるために、モデルパフォーマンスメトリックの追跡やCIパイプライン内のテスト実行の優先順位付けなど、ML固有のCIプラクティスのセットを提案します。
さらに、私たちの調査結果は、MLプロジェクトのテスト文化を強化するために学際的なコラボレーションを促進することの重要性を強調しています。
定量的な調査結果を実践者の洞察に橋渡しすることにより、この研究は、CIプラクティスとMLプロジェクトの独自の要求との相互作用をより深く理解し、このドメインでより効率的で堅牢なCI戦略の基礎を築きます。

要約(オリジナル)

Continuous Integration (CI) is a cornerstone of modern software development. However, while widely adopted in traditional software projects, applying CI practices to Machine Learning (ML) projects presents distinctive characteristics. For example, our previous work revealed that ML projects often experience longer build durations and lower test coverage rates compared to their non-ML counterparts. Building on these quantitative findings, this study surveys 155 practitioners from 47 ML projects to investigate the underlying reasons for these distinctive characteristics through a qualitative perspective. Practitioners highlighted eight key differences, including test complexity, infrastructure requirements, and build duration and stability. Common challenges mentioned by practitioners include higher project complexity, model training demands, extensive data handling, increased computational resource needs, and dependency management, all contributing to extended build durations. Furthermore, ML systems’ non-deterministic nature, data dependencies, and computational constraints were identified as significant barriers to effective testing. The key takeaway from this study is that while foundational CI principles remain valuable, ML projects require tailored approaches to address their unique challenges. To bridge this gap, we propose a set of ML-specific CI practices, including tracking model performance metrics and prioritizing test execution within CI pipelines. Additionally, our findings highlight the importance of fostering interdisciplinary collaboration to strengthen the testing culture in ML projects. By bridging quantitative findings with practitioners’ insights, this study provides a deeper understanding of the interplay between CI practices and the unique demands of ML projects, laying the groundwork for more efficient and robust CI strategies in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google