Reasonable Scale Machine Learning with Open-Source Metaflow

要約

機械学習 (ML) がさまざまな業界や新しいユース ケースで採用されるにつれて、実践者は ML システムの効果的な開発と反復に関する課題をますます認識しています。再現性、デバッグ、スケーラビリティ、およびドキュメント化は、テクノロジー ファーストの企業以外の現実のパイプラインにとってとらえどころのない目標です。
.
このホワイト ペーパーでは、ML 指向のワークロードの性質を確認し、既存のツールを転用しても現在の生産性の問題は解決しないと主張します。
次に、Metaflow を紹介します。これは、ビジネス ロジックの定義から ML コードの実行を抽象化することで、データ プラクティショナーの生産性を高めるように明示的に設計された ML プロジェクト用のオープンソース フレームワークです。
私たちの設計が ML オペレーション (MLOps) の主な課題にどのように対処するかを示し、例、インタビュー、ユースケースを通じて、フィールドへの実際の影響を文書化します。

要約(オリジナル)

As Machine Learning (ML) gains adoption across industries and new use cases, practitioners increasingly realize the challenges around effectively developing and iterating on ML systems: reproducibility, debugging, scalability, and documentation are elusive goals for real-world pipelines outside tech-first companies. In this paper, we review the nature of ML-oriented workloads and argue that re-purposing existing tools won’t solve the current productivity issues, as ML peculiarities warrant specialized development tooling. We then introduce Metaflow, an open-source framework for ML projects explicitly designed to boost the productivity of data practitioners by abstracting away the execution of ML code from the definition of the business logic. We show how our design addresses the main challenges in ML operations (MLOps), and document through examples, interviews and use cases its practical impact on the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google